人工智能

阿里云推出第八代企业级实例g8i AI推理性能提升7倍

字号+作者: 来源:站长之家 2024-01-12 10:44 评论(创建话题) 收藏成功收藏本文

站长之家(ChinaZ.com) 1月12日 消息:阿里云推出了第八代企业级通用计算实例 ECS g8i,采用了阿里云自研的「飞天 + CIPU」架构体系和第五代英特尔至强可'...

站长之家(ChinaZ.com) 1月12日 消息:阿里云推出了第八代企业级通用计算实例 ECS g8i,采用了阿里云自研的「飞天 + CIPU」架构体系和第五代英特尔至强可扩展处理器。新款实例的整机性能最高提升85%,AI 推理性能最高提升7倍,可以支持高达72B 参数的大语言模型。此外,ECS g8i 实例还提供了端到端的安全防护,为企业构建可信的 AI 应用提供了强大的隐私增强算力支持。VwZ品论天涯网

在通用算力方面,ECS g8i 实例的 L3缓存容量提升到320MB,内存速率高达5600MT/s,整机性能提升85%,单核性能提升25%。存储方面,ESSD 云盘提供100万 IOPS,全面搭载 NVMe,存储延迟低至百微秒。网络方面,PPS 高达3000万,标配阿里云自研 eRDMA 大规模加速能力,时延低至8微秒。安全方面,ECS g8i 实例支持可信计算与加密计算等特性,全球率先支持机密虚拟机 TDX 技术,构建了全面的安全防护。VwZ品论天涯网

微信截图_20240112104507.pngVwZ品论天涯网

对于 AI 应用来说,ECS g8i 实例采用了 Intel AMX 高级矩阵扩展加速技术,将生成式 AI 的运行速度提升了7倍,可以更快地运行知识检索、问答系统和摘要生成等任务。配合阿里云 Spot 抢占式实例,成本优势将进一步凸显,降低推理成本。此外,基于自研 eRDMA 超低延时弹性网络,ECS g8i 实例集群可以支持高达72B 参数的大语言模型分布式推理,推理性能随集群规模接近线性加速,并且支持超过32batchsize 的超大参数规模的 AI 模型负载。VwZ品论天涯网

在安全方面,阿里云通过硬件可信根和虚拟可信能力 vTPM,实现了服务器的可信启动和实例启动过程核心组件的校验能力。此次升级的 ECS g8i 实例全量支持 Trust Domain Extension TDX 技术,为大模型等 AI 应用提供了隐私增强算力。VwZ品论天涯网

阿里云表示,ECS g8i 实例的强劲表现证明了以 CPU 为中心的计算体系同样具备加速 AI 推理的潜力,公共云不仅可以胜任超大规模的 AI 模型,还为 AI 应用加速落地提供了新的路径。VwZ品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]

相关文章