2024是大模型供给侧出清的一年?伊隆·马斯克:我还没亮底牌,赢家怎么就能定了呢?刚刚,马斯克的xAI宣布了今年最大的一笔风险投资,以超过240亿美元估值获得60亿美元B轮融资。至此,硅谷大模型第一梯队的玩家再多一位,形成包括OpenAI、Google、Anthropic和xAI的四巨头。
融到60亿美金,就意味着能做出比肩OpenAI的大模型吗?
因为他是马斯克。能吸引到最优秀的AI人才,能搞定大算力和大笔融资做ScalingLaw(缩放定律,被视为大模型的秘诀),除了他,你很难想到还有第二个人。况且,背靠自动驾驶这个被视为大模型最大的应用场景、X.comToC流量入口,以及作为曾经的OpenAI联合创始人身份,马斯克的入场,势必冲击大模型的制高点。
01马斯克:钱和卡,我搞得定
2023年2月,微软向OpenAI投资了100亿美元,你或许觉得这笔钱应该能花好一阵子。
但在今天,100亿美金几乎才是2024年做大模型的起平线。撇开现金流充足的Google,OpenAI、Anthropic和xAI分别获得了约130亿美元、70亿美元、60亿美元融资额,来“卷”新一代大模型。
这主要是由于做大模型所需要的算力一再扩张,尤其是随着多模态融合成为新的AGI大模型路线。如果说去年做大模型的算力门槛是1万张英伟达H100的算力集群,那么,今年这个数字变成了至少10万张H100,这是马斯克筹集60亿美元资金的主要用途。
据TheInformation采访的一位投资者,马斯克在最近与潜在和现有xAI投资者的通话中表示,公司将把大部分资金用于租用AI芯片,并帮助其在2025年下半年达到10万个GPU,以便改进Grok背后的模型。
这位人士说,马斯克暗示,他是仅有的几位能筹集到足够资金与领先的人工智能公司竞争的高管之一。
上个月,马斯克在X.com上的现场音频聊天中表示,xAI将需要10万个NVIDIAH100GPU来训练Grok3.0。他表示,该公司目前正在大约20,000个H100芯片上训练Grok2.0。
图片来源:视觉中国
英伟达没有公布过其芯片的成本,但研究公司SemiAnalysis的首席分析师DylanPatel表示,租用10万台H100每年可能花费约17亿美元;即将推出的被称为GB200的NVIDIAAI芯片可能比前代产品贵50%。
能不能“借”到钱买算力是一方面,有了钱能不能买到算力又是另一方面。当前,英伟达最高端的GPU系列仍旧供不应求,云厂商能用来训练大模型的算力集群有限。
马斯克将目光锁定在了三大云厂商之外的另一家——甲骨文Oracle。
与亚马逊云AWS、Google云、微软云Azure不同,甲骨文与OpenAI或Anthropic没有业务往来,这可能使其对马斯克作为合作伙伴更具吸引力。
同时,马斯克也是甲骨文联合创始人埃里森的老朋友,埃里森此前曾担任马斯克的另一家公司特斯拉的董事会董事,并出资帮助马斯克接管了当时还被称为Twitter的X。据直接知情人士透露,XAI已经是Oracle最大的H100客户,使用了超过15000个芯片。
现在,马斯克已经明确xAI将需要多达10万个专用半导体来训练和运行下一代Grok。他告诉投资者,xAI计划将所有这些芯片串联成一台大型计算机,他称之为“算力超级工厂”(gigafactoryofcompute)。马斯克希望在2025年秋天之前让这台超级计算机投入运行,并将亲自负责按时交付。他称,这些连接起来的H100集群,建成后的规模将至少是目前最大GPU集群的四倍。
在“算力超级工厂”的计划下,XAI可能与甲骨文公司合作开发超级计算机,也可能选择其他合作方或合作形式。一个细节体现在本轮融资的出资方包括红杉、A16Z等基金,唯独没有甲骨文的身影。相比之下,其他三大云厂商和大模型公司之间的合作则通过投资来“锁定”云客户。
无论如何,“算力超级工厂”给了Grok上一线牌桌的起点,这场AI背后的算力竞赛,还将继续加码。
此前,扎克伯格表示,到2024年底,Meta将拥有35万台H100,其中一些将用于训练公司的Llama开源大模型。微软计划在今年和明年为OpenAI提供容纳数十万个GPU的服务器。OpenAI和微软已经在讨论到2028年开发一台价值1000亿美元的超级计算机。
02Grok,马斯克商业版图不可或缺的一环
马斯克曾于2015年联合创办了非营利机构——OpenAI,2018年2月,马斯克辞去了OpenAI董事会席位,理由是与他作为特斯拉CEO的角色存在“潜在的未来利益冲突”。
去年,马斯克创办了xAI,再度下场做大模型,以开发一种他认为与Google和OpenAI相比不那么“清醒(woke)”,不那么容易受到政治正确或其他审查制度影响的替代方案。在今天融资官宣的博客里,xAI再次重申了这一点,称xAI专注于开发真实、有能力且对全人类最大利益的先进AI系统,公司使命是了解宇宙的真实本质。
图片来源:视觉中国
过去一年,xAI从2023年7月公司发布,到11月在X上发布Grok-1,再到最近宣布的具有长上下文能力的改进型Grok-1.5模型,再到具有图像理解功能的Grok-1.5V,xAI的模型能力得到了快速提升。
在马斯克的构想中,Grok对语音的限制比OpenAI和Google的AI助手要少。马斯克表示,该公司目前正在2万个GPU上训练Grok2,最近的一个版本可以处理文档、图表和现实世界中的物体。马斯克计划将该模型扩展到音频和视频领域。
马斯克在向潜在投资者推介时说,xAI比Anthropic和OpenAI更有优势,因为这两家公司没有直接向客户销售其模型的明确途径,而是依赖云提供商转售其技术。
他称,xAI将通过包括特斯拉在内的其他公司销售Grok,从而更直接地接触用户。而自动驾驶也被视为大模型最大的应用场景。
融资消息官宣后,马斯克在X.com为xAI招聘人才。|截图来源:X.com
xAI官网中,该公司正在招聘数据、多模态、模型训练的人才。|图片来源:xAI
值得注意的是,xAI大约有50名员工,其员工相关成本仅是对手的一小部分。今天,xai也在官网寻求更多AI人才,释放了一众招聘岗位。
一边狂裁特斯拉,一边疯狂为xAI招人,马斯克的AI之路,走的依然是他自己的风格。
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】