人工智能

微软、OpenAI投资1000亿美元,打造“Stargate”超级计算机

字号+作者: 来源:AIGC开放社区公众号 2024-03-31 09:17 评论(创建话题) 收藏成功收藏本文

声明:本文来自于微信公众号 AIGC开放社区(ID:AIGCOPEN),作者:AIGC开放社区,授权站长之家转载发布。3月30日,著名科技媒体the information独家消息,微软、OpenAI'...

声明:本文来自于微信公众号 AIGC开放社区(ID:AIGCOPEN),作者:AIGC开放社区,授权站长之家转载发布。V1q品论天涯网

3月30日,著名科技媒体the information独家消息,微软、OpenAI正在开发一个数据中心项目,包含一台名为“Stargate”超级计算机将配备数百万个AI专用芯片,主要为OpenAI的研发、产品提供服务。V1q品论天涯网

据一位曾与OpenAI联合创始人兼首席执行官Sam Altman交谈过,以及查看过微软对该项目的成本估算内部人士透露,该成本的总投资高达1000亿美元。V1q品论天涯网

图片V1q品论天涯网

早在2020年5月19日,微软就在官方公布过,在Azure云服务中专门为OpenAI打造了一台配备10,000个GPU和285,000个 CPU的超级计算机,这也是当时世界上最快的5台计算机之一,这为后来开发ChatGPT、DALL·E3等产品立下汗马功劳。V1q品论天涯网

本次的Stargate将比2020年的那台性能更强、更快,将帮助OpenAI开发实现AGI的大模型。V1q品论天涯网

Stargate简单介绍V1q品论天涯网

据the information介绍,该数据中心项目一共分为5个阶段,目前微软和OpenAI已经处于第3阶段中期。第4阶段是微软将打造一台比Stargate小一点的超级计算机,预计在2026年左右投入使用。V1q品论天涯网

第5阶段就是Stargate超级计算机,将配备数百万个AI专用芯片,预计在2028年左右投入使用。而第4和第5阶段的主要工作之一就是大量采购AI芯片。V1q品论天涯网

该项目的占地将达到400多亩,需求的电力在5吉瓦特左右将是一个耗电猛兽,所以,可能会使用核动力供电。V1q品论天涯网

该项目的投资是目前多数高级数据中心的100倍左右,微软如此花大价钱的主要原因是,OpenAI一直受到算力的困扰,不能释放全部的产品和创新能力。V1q品论天涯网

例如,2023年,OpenAI本来是要推出一个名为“Arrakis ”的AI产品,但受AI算力限制放弃了。V1q品论天涯网

微软曾为OpenAI打造过专属超级计算机V1q品论天涯网

花费1000亿美元,打造一个超级数据中心并非微软上头操作,而是之前就成功干过一次。V1q品论天涯网

早在2020年5月召开的“Build”开发者大会上,微软表示已经在Azure 云服务中专门为OpenAI打造了一台配备10000个GPU和285,000个 CPU的超级计算机,每个 GPU 服务器的网络连接速度为每秒400GB,专门用于训练AI模型。V1q品论天涯网

可以说,如果没有这台超算的帮助,可能也不会有后来在全球爆火出圈的ChatGPT。V1q品论天涯网

图片V1q品论天涯网

而微软此次的投资是2020年那台的100倍,这主要因为OpenAI的技术正在快速迭代,并且开发了Sora这种跨时代的文生视频模型。V1q品论天涯网

与ChatGPT的文本相比,视频模型的预训练、微调需要的算力和处理难度将更高。因为,视频数据是包含宽度、高度、时间和颜色通道等高维数据。V1q品论天涯网

因此需要更复杂的数据预处理步骤,包括视频的解码、帧提取、帧重采样以及大小调整等。而文本数据相对是低维的,主要处理的是序列数据,包括分词、标记化、词嵌入等流程。V1q品论天涯网

在算力方面,由于视频数据的高维特性,视频模型在训练和推理过程中远高于文本模型的AI算力。视频处理通常需要在保持空间细节的同时捕捉时间上的变动,这需要大量的AI算力支撑。V1q品论天涯网

OpenAI的首席技术官Mira Murati曾表示,Sora生成一个20秒720P的视频,大约需要耗费几分钟的时间。V1q品论天涯网

如果是100,000个人一起使用Sora生成不同类型的视频,其消耗的AI算力将是一个天文数字。V1q品论天涯网

所以,AI算力已经和数据一样成为生成式AI领域的水、电、煤基础设施,任何产品的技术创新、迭代都离不开它。V1q品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]