如何解决混合精度训练大模型的局限性问题

混合精度已经成为训练大型深度学习模型的必要条件，但也带来了许多挑战。将模型参数和梯度转换为较低精度数据类型（如FP16）可以加快训练速度，但也会带来数值稳定性的问题。使用进行FP16 训练梯度更容易溢出或不足，导致优化器计算不精确，以及产生累加器超出数据类型范围的等问题。在这篇文章中，我们将讨论混合精确训练的数值稳定性...

2023-04-13

一日一卡挑战：RTX2080Ti搞定大模型训练，算力节省136倍，学界欢呼

在一块消费级 GPU 上只用一天时间训练，可以得到什么样的 BERT 模型？最近一段时间，语言模型再次带火了 AI 领域。预训练语言模型的无监督训练属性使其可以在海量样本基础上进行训练，并获得大量语义语法知识，不论分类还是问答，似乎没有 AI 解决不了的问题。然而，大模型既带来了技术突破，也对算力提出了无穷无尽的需求。...

2023-04-13

颠覆三观！谷歌最新研究：用性能差的模型计算「相似度」反而更准？

计算图像之间的相似度是计算机视觉中的一个开放性问题。在图像生成火遍全球的今天，如何定义「相似度」，也是评估生成图像真实度的关键问题。虽然当下有一些相对直接的方法来计算图像相似度，比如测量像素上的差异（如FSIM, SSIM），但这种方法获得的相似性差异和人眼感知到的差异相去深远。深度学习兴起后，一些研究人员发现一些神经...

2023-04-12

全球供应链中断将如何推动机器人的采用?

​随着企业希望保持更大的控制力，并避免代价高昂的中断，现在都将制造业转移到本土，使供应链多样化成为优先事项。虽然有些人可能预计这些努力会增加劳动力成本，但相信企业可以通过采用机器人技术和自动化技术来帮助控制和减少成本。外包转型的供应链从历史上看，离岸制造为企业提供了一种替代国内生产的有吸引力的替代方案。凭借较低的劳动力...

2023-04-12

科学家 3D 打印适用人造卫星的高精度等离子体传感器

据报道，目前，美国麻省理工学院最新研制 3D 打印精准等离子体传感器，该设备成本较低，且易于制造，这些数字化设备可以帮助科学家预测天气或者研究气候变化。 该等离子体传感器也被称为“延迟电位分析仪 (RPAs)”, 被人造卫星等轨道航天器用于确定大气化学成分和离子能量分布。3D 打印、激光切割流程制造的半导体等离子体传感...

2023-04-12