人工智能

谷歌AI芯片TPU v5p在训练LLM方面比其前一代快2.8倍

字号+作者: 来源:站长之家 2024-01-29 10:24 评论(创建话题) 收藏成功收藏本文

站长之家(ChinaZ.com) 1月29日 消息:谷歌正迅速成为其最好的朋友英伟达的强大对手——其超级计算机所使用的TPU v5p人工智能芯片比以往任何时候都更快'...

站长之家(ChinaZ.com) 1月29日 消息:谷歌正迅速成为其最好的朋友英伟达的强大对手——其超级计算机所使用的TPU v5p人工智能芯片比以往任何时候都更快、更大、更宽,甚至超过了强大的H100。谷歌在最近推出其Gemini人工智能模型的同时,也发布了其最新版本的旗舰张量处理单元(TPU),用于人工智能的训练和推理,这似乎是一种挑战英伟达自己的市场领先的图形处理器(GPU)的尝试。CX6品论天涯网

CX6品论天涯网

大模型,芯片CX6品论天涯网

图源备注:图片由AI生成,图片授权服务商MidjourneyCX6品论天涯网

TPU v5p是谷歌最强大的定制设计的人工智能加速器,已经被部署到了该公司的“人工智能超级计算机”上。这是一种专门为运行人工智能应用而构建的超级计算架构,而不是通常运行科学工作负载的超级计算机,因为TPU不适合这些工作。CX6品论天涯网

其最新版本的TPU每个单元(组成系统的部分)有8, 960 个芯片,相比之下,v4 只有4, 096 个,而且在每个单元可用的浮点运算次数(FLOPs)方面,它的可扩展性是v4 的四倍。这些新的单元提供了4,800Gbps的吞吐量。新的单元还拥有95GB的高带宽内存(HBM),而TPU v4 只有32GB的HBM RAM。CX6品论天涯网

不同于英伟达,它将其GPU出售给其他公司,谷歌的定制TPU仍然只在其自己的产品和服务中使用。谷歌的TPU长期以来一直用于为其服务提供动力,包括Gmail、YouTube和Android,而最新版本也被用于训练Gemini。CX6品论天涯网

谷歌的v5p TPU在训练大型语言模型方面比TPU v4 快2. 8 倍,并且提供2. 1 倍的性价比。虽然今年早些时候发布的中间版本TPU v5e在三者中提供了最高的性价比,但它只比TPU v4 快1. 9 倍,这使得TPU v5p成为最强大的。CX6品论天涯网

它甚至强大到足以与英伟达广受欢迎的H100 GPU相媲美,这是市场上最适合人工智能工作负载的显卡之一。根据该公司自己的数据,这个组件在训练工作负载方面比英伟达的A100 GPU快四倍。CX6品论天涯网

与此同时,谷歌的TPU v4 据估计比A100 快1. 2 到1. 7 倍,这是根据它在四月份发布的研究结果。粗略的计算表明,TPU v5p大约比A100 快3. 4 到4. 8 倍,这使得它与H100 相当或者更优秀,尽管在得出任何结论之前,需要更详细的基准测试。CX6品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]