Meta内讧 大模型团队人员流失大半 算力紧缺竟成导火索

据TheInformation报道，消息人士表示，Meta参与LLaMA项目的人员大半都已辞职，原因是Meta另一研究团队（OPT团队）与LLaMA团队就算力资源展开了一场内部斗争。LLaMA是Meta在今年2月发布的一款开源的人工智能大型语言模型。在今年7月，Meta发布了其最新版本LLaMA2。相较上一代，LLaMA2训练所用的token翻了一倍至2万亿。Sss品论天涯网

而在2月发布的初代LLaMA模型的14位核心原作者中，已有超过一半的人全部离职，包括TimothéeLacroix、GuillaumeLample、Marie-AnneLachaux、GautierIzacard等。Sss品论天涯网

Sss品论天涯网

论文地址：https：//arxiv.org/pdf/2302.13971.pdfSss品论天涯网

另一OPT团队则在2022年5月发布了开源大模型OPT-175B，并在几个月后着手开发与GooglePaLM竞争的竞品，准备开发出第二个更大的模型。Sss品论天涯网

而LLaMA团队开发的模型则比OPT要小。知情人士透露，LLaMA研究团队认为较小的模型在推理时会高效。但由于LLaMA模型小，因此获取的算力资源比OPT团队要少，这或许让LLaMA团队的研究人员感受到不被重视。Sss品论天涯网

MetaAI相关负责人JoellePineau也在采访中承认，LLaMA和OPT团队之间在算力分配上有些紧张。Sss品论天涯网

另外，算力资源内斗不仅导致了LLaMA团队半数研究人员的出走，OPT团队同样也面临人员流失的问题。OPT模型的19位原作者中，也有半数已离职Meta。Sss品论天涯网

Sss品论天涯网

论文地址：https://arxiv.org/pdf/2205.01068.pdfSss品论天涯网

原因主要系OPT团队正在开发的与GooglePaLM竞争的竞品，已被Meta放弃。Pineau无奈地表示：“所有研究团队都想升级自己的模型，这时要么选择其中一个，要么让他们合作。”MetaAI的一些高管也表达过质疑称，OPT和LLaMA两个团队项目的相似度过高，却要竞争有限的算力资源。Sss品论天涯网

最终，MetaAI的领导人决定进行团队重组，将LLaMA和OPT团队的部分研究成员聚集起来，成立了生成式AI团队。Sss品论天涯网

在AI算力竞赛中，科技巨头往往拥有比大多数公司更加充裕的算力资源。而Meta大模型研究人员因算力斗争而相继离职愈发印证了，目前业内算力紧缺程度比想象中还要严重，科技巨头或许也不例外。Sss品论天涯网