Meta公司开发了最大的基础开源大型语言模型之一Llama，该公司认为未来将需要更强的计算能力来训练模型。马克-扎克伯格（MarkZuckerberg）在本周二的Meta第二季度财报电话会议上表示，为了训练Llama4，公司需要比训练Llama3多10倍的计算能力。但他仍然希望Meta能够提高训练模型的能力，而不是落后于竞争对手。
扎克伯格说："训练Llama4所需的计算量很可能是我们训练Llama3所需的计算量的近10倍，而且未来的模型还将继续增长。很难预测未来几代人的发展趋势。但在这一点上，考虑到启动新推理项目的筹备时间较长，我宁愿冒险在需要之前建设能力，而不是为时已晚。"
Meta于今年4月发布了拥有800亿个参数的Llama3。该公司上周发布了该模型的升级版，名为Llama3.1405B，拥有4050亿个参数，成为Meta最大的开源模型。
Meta公司首席财务官苏珊-李（SusanLi）也表示，公司正在考虑不同的数据中心项目，并建设能力来训练未来的人工智能模型。她说，Meta预计这项投资将在2025年增加资本支出。
训练大型语言模型是一项成本高昂的工作。在服务器、数据中心和网络基础设施投资的推动下，Meta的资本支出从去年同期的64亿美元增至2024年第二季度的85亿美元，增长了近33%。
根据TheInformation的报道，OpenAI在训练模型上花费了30亿美元，另外还以折扣价从微软租用了40亿美元的服务器。
"随着我们扩大生成式人工智能的训练能力，以推进我们的基础模型，我们将继续以灵活的方式建设我们的基础设施。这将使我们能够将训练能力用于基因人工智能推理或我们的核心排名和推荐工作，当我们预计这样做会更有价值时，我们就会这样做，"李开复在电话会议上说。
在电话会议上，Meta还谈到了面向消费者的MetaAI的使用情况，并表示印度是其聊天机器人的最大市场。但李开复指出，公司并不指望GenAI产品能对收入做出重大贡献。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】