Meta内部“算力宫斗” 一半Llama核心团队已离职

Meta是市场上最出色的开源大模型提供方，但据报道，该公司内部存在混乱和内斗，许多工程师和科学家已经离职，主要原因是Meta内部团队之间在算力分配上存在分歧。在过去半年的AI混战里，提供免费开源大模型的Meta，成了与眼里只有生意的谷歌、微软&OpenAI截然相反的平民英雄。6z6品论天涯网

6z6品论天涯网

然而，尽管凭借Llama，Meta已经拿下了“大模型里的安卓”的名头，但据科技媒体TheInformation报道，团队内部实际上充满了混乱和内斗，许多参与开发的工程师和科学家都已经离职。知情人士表示，2月份发表的Llama原始研究论文的14位作者中，有一半以上已经离开了公司，有几位去了人工智能初创公司或其他大公司。6z6品论天涯网

算力宫斗6z6品论天涯网

导致Meta内斗的主因，是算力。6z6品论天涯网

以图灵奖得主YannLeCun为首的TheFundamentalAIResearch（FAIR）实验室，主导着Meta的AI研究和开发。FAIR在加州、纽约、巴黎、伦敦等地都有分支机构，但各地实验室之间缺乏统筹，甚至可以称得上山头林立。6z6品论天涯网

例如，2022年5月，一个主要位于美国的FAIR团队发布OPT-175B，对标OpenAI的GPT-3，据称能耗比GPT更低，这个团队也在开发对标谷歌PaLM、参数量级更大的模型。6z6品论天涯网

与此同时，FAIR巴黎团队也在开发他们的大模型——即Llama，后者的参数比OPT要小，因为巴黎团队相信，小模型在推理方面效率更高。6z6品论天涯网

多线并进没有给Meta带来好结果。英伟达的算力供给昂贵而有限，即使是Meta，也没有足够的GPU满足两个团队同时推进。6z6品论天涯网

两位直接知情人士对TheInformation表示，由于Meta的GPU资源不足，巴黎团队和美国团队关系变得越来越紧张。据知情人士透露，巴黎团队获得的算力配额比美国团队要少。6z6品论天涯网

FAIR负责人JoellePineau对TheInformation表示，算力分配是由多部门的中层领导每月开一次会来决定的，主要考虑的是组织的优先级，以及项目发布日期。如果员工们对算力分配有异议，需要层层上报等Pineau来定夺。6z6品论天涯网

6z6品论天涯网

在采访中，Pineau承认Llama与OPT各自的开发团队在这个问题上“有些紧张”。6z6品论天涯网

据TheInformation了解，许多研究人员实际上都不理解FAIR为什么要采取多线并进的方式。两个团队都在做大模型，看起来似乎是在鼓励内部竞争。6z6品论天涯网

内斗再加上Meta去年底的大裁员和公司组织调整，Llama和OPT的开发团队都出现了士气问题，多位关键研究人员选择离职加入其他大科技公司或AI初创企业。6z6品论天涯网

直到今年2月份，FAIR终于把两家人马收拢到一起，全力开发Llama2，而OPT模型则被彻底放弃。原因倒不在于Llama比OPT出色，而是因为没人了——5月份OPT论文的19位作者中，已经有一半离开了Meta。6z6品论天涯网

商业化转向提速FAIR未来命运存疑6z6品论天涯网

从去年11月开始，MetaCEO扎克伯格开始在全公司范围内进行裁员，FAIR也未能幸免。6z6品论天涯网

此外，今年2月，Meta成立了一个新团队，专注于自家App开发AI功能。新团队由苹果前高管AhmadAl-Dahle负责，从FAIR吸纳了大量人员。据Pineau称，其中包括开发Llama2的团队。6z6品论天涯网

更重要的是，AI热潮之下，FAIR所肩负的使命也发生了微妙的变化。之前，它和OpenAI一样，是一个由研究人员领导的学术研究机构，以人工智能领域技术攻坚为核心使命。但扎克伯格后来愈发希望加速令AI技术商业化。6z6品论天涯网

即使有了Llama2后来的大获成功，也没有改变FAIR的命运。开源模型变成了Meta打造声誉、吸引用户、创造营收的有力工具。6z6品论天涯网

在上半年Llama2爆红，AI研究人员纷纷对其进行魔改之际，扎克伯格就已经开始憧憬，随着开发者对模型的改进，他可以进一步把AI融入广告和消费产品中。未来，像OpenAI一样背负商业化压力，可能是FAIR必然的道路。6z6品论天涯网