随着越来越多的公司加入发展人工智能的行列，但运行人工智能模型的能耗正成为一个亟待解决的问题。虽然NVIDIA、微软和OpenAI等知名企业对这一情况轻描淡写，但有一家公司声称自己已经找到了解决方案。
BitEnergyAI公司的研究人员已经开发出了一种技术，可以在不牺牲太多准确性和速度的情况下大幅降低人工智能的能耗，该研究称，该方法可将能耗降低95%。研究小组将这一突破称为"线性复杂度乘法"（Linear-ComplexityMultiplication），简称L-Mul。计算过程使用整数加法，在人工智能相关任务中，整数加法比浮点乘法所需的能量和步骤要少得多。
在处理非常大或非常小的数字时，浮点数在人工智能计算中被广泛使用。这些数字就像二进制形式的科学记数法，可以让人工智能系统精确地执行复杂的计算，然而，这种精确性是有代价的。
人工智能热潮对能源的需求不断增长，已经达到了令人担忧的程度，一些模型需要大量电力。例如，ChatGPT的用电量相当于18000个美国家庭（每天564兆瓦时）。剑桥另类金融中心的分析师估计，到2027年，人工智能行业每年的耗电量可能在85到134太瓦时之间。
L-Mul算法通过用较简单的整数加法来近似复杂的浮点乘法，解决了这种过度浪费能源的问题。在测试中，人工智能模型在保持精度的同时，将张量乘法的能耗降低了95%，将点乘法的能耗降低了80%。
L-Mul技术还能按比例提高性能。该算法超越了当前的8位计算标准，以更少的位级计算实现了更高的精度。涵盖自然语言处理和机器视觉等各种人工智能任务的测试表明，性能只降低了0.07%--如果考虑到节能因素，这只是很小的代价。
基于变压器的模型（如GPT）可以从L-Mul中获益最多，因为该算法可以无缝集成到注意力机制中，而注意力机制是这些系统中一个关键但能耗密集的组件。对Llama和Mistral等流行人工智能模型的测试甚至显示，某些任务的准确性有所提高。不过，有好消息也有坏消息。
坏消息是，L-Mul目前需要专门的硬件。目前的人工智能处理还没有经过优化，无法利用这项技术。好消息是，开发专用硬件和编程应用程序接口的计划正在进行中，这将为在合理的时间内实现更节能的人工智能铺平道路。
唯一的障碍是一些公司，特别是英伟达（NVIDIA），阻碍了采用人工智能的努力，而这确实是有可能发生的。这家GPU制造商以人工智能应用的首选硬件开发商而声名鹊起。当它占据了市场的绝大部分份额时，它是否会向更节能的硬件举双手赞成是值得怀疑的。
对于那些追求复杂数学解决方案的人来说，研究的预印本已发布在罗格斯大学的"arXiv"图书馆上。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】