声明：本文来自于微信公众号 AIGC开放社区（ID：AIGCOPEN），作者：AIGC开放社区，授权站长之家转载发布。
3月30日，著名科技媒体the information独家消息，微软、OpenAI正在开发一个数据中心项目，包含一台名为“Stargate”超级计算机将配备数百万个AI专用芯片，主要为OpenAI的研发、产品提供服务。
据一位曾与OpenAI联合创始人兼首席执行官Sam Altman交谈过，以及查看过微软对该项目的成本估算内部人士透露，该成本的总投资高达1000亿美元。
早在2020年5月19日，微软就在官方公布过，在Azure云服务中专门为OpenAI打造了一台配备10，000个GPU和285，000个 CPU的超级计算机，这也是当时世界上最快的5台计算机之一，这为后来开发ChatGPT、DALL·E3等产品立下汗马功劳。
本次的Stargate将比2020年的那台性能更强、更快，将帮助OpenAI开发实现AGI的大模型。
Stargate简单介绍
据the information介绍，该数据中心项目一共分为5个阶段，目前微软和OpenAI已经处于第3阶段中期。第4阶段是微软将打造一台比Stargate小一点的超级计算机，预计在2026年左右投入使用。
第5阶段就是Stargate超级计算机，将配备数百万个AI专用芯片，预计在2028年左右投入使用。而第4和第5阶段的主要工作之一就是大量采购AI芯片。
该项目的占地将达到400多亩，需求的电力在5吉瓦特左右将是一个耗电猛兽，所以，可能会使用核动力供电。
该项目的投资是目前多数高级数据中心的100倍左右，微软如此花大价钱的主要原因是，OpenAI一直受到算力的困扰，不能释放全部的产品和创新能力。
例如，2023年，OpenAI本来是要推出一个名为“Arrakis ”的AI产品，但受AI算力限制放弃了。
微软曾为OpenAI打造过专属超级计算机
花费1000亿美元，打造一个超级数据中心并非微软上头操作，而是之前就成功干过一次。
早在2020年5月召开的“Build”开发者大会上，微软表示已经在Azure 云服务中专门为OpenAI打造了一台配备10000个GPU和285，000个 CPU的超级计算机，每个 GPU 服务器的网络连接速度为每秒400GB，专门用于训练AI模型。
可以说，如果没有这台超算的帮助，可能也不会有后来在全球爆火出圈的ChatGPT。
而微软此次的投资是2020年那台的100倍，这主要因为OpenAI的技术正在快速迭代，并且开发了Sora这种跨时代的文生视频模型。
与ChatGPT的文本相比，视频模型的预训练、微调需要的算力和处理难度将更高。因为，视频数据是包含宽度、高度、时间和颜色通道等高维数据。
因此需要更复杂的数据预处理步骤，包括视频的解码、帧提取、帧重采样以及大小调整等。而文本数据相对是低维的，主要处理的是序列数据，包括分词、标记化、词嵌入等流程。
在算力方面，由于视频数据的高维特性，视频模型在训练和推理过程中远高于文本模型的AI算力。视频处理通常需要在保持空间细节的同时捕捉时间上的变动，这需要大量的AI算力支撑。
OpenAI的首席技术官Mira Murati曾表示，Sora生成一个20秒720P的视频，大约需要耗费几分钟的时间。
如果是100，000个人一起使用Sora生成不同类型的视频，其消耗的AI算力将是一个天文数字。
所以，AI算力已经和数据一样成为生成式AI领域的水、电、煤基础设施，任何产品的技术创新、迭代都离不开它。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】