人工智能

甩英伟达几百条街?Etched AI开创新技术 将Transformer架构直接“烧录”到芯片中

字号+作者: 来源:站长之家 2023-12-19 09:58 评论(创建话题) 收藏成功收藏本文

站长之家(ChinaZ.com)12月19日 消息:美国芯片初创公司Etched AI近日宣称,他们成功开创了一项新的技术,将Transformer架构直接“烧录”到了芯片中,创造出了世'...

站长之家(ChinaZ.com)12月19日 消息:美国芯片初创公司Etched AI近日宣称,他们成功开创了一项新的技术,将Transformer架构直接“烧录”到了芯片中,创造出了世界上最强大的专门用于Transformer推理的服务器。据称,这项技术可以运行万亿参数的模型,甩英伟达几百条街。lvk品论天涯网

QQ截图20231219095455.jpglvk品论天涯网

官网地址:https://www.etched.ai/lvk品论天涯网

该服务器具有多项功能,包括实时语音代理,能够在毫秒内处理成千上万的词;更好的编码与树搜索能力,可以并行比较数百个响应;多播推测解码功能,实时生成新内容;支持未来的万亿参数模型,只需一个核心,支持全开源软件栈,可扩展至100T参数模型;还具备高级解码技术,包括光束搜索和MCTS解码。lvk品论天涯网

此外,每个芯片还配备了144GB HBM3E,支持MoE和转换器变体,为服务器的高性能提供了有力支持。这一突破性技术的问世,将为Transformer架构的应用带来新的可能性。lvk品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]