Hailo推出用于边缘设备的GenAI芯片功耗仅为2.5瓦-品论天涯网

NVIDIA的竞争对手Hailo周二宣布其第二代AI加速器芯片全面上市，称该产品是同类产品中第一款“将真正的生成式AI性能带到边缘”且能耗极低的产品。以色列人工智能芯片初创公司Hailo表示，Hailo-10H芯片能够实现每秒40万亿次(TOPS)的4位整数(INT4)运算性能，以及每秒20万亿次(TOPS)的8位整数(INT8)运算性能，功耗仅为2.5瓦。XNz品论天涯网

相比之下，英伟达的JetsonOrinNano芯片的INT8运算性能最高可达67万亿次，是INT4的两倍，但功耗范围为7-25瓦。XNz品论天涯网

Hailo-10H专为消费、企业和汽车市场的边缘设备而设计，结合了“高效率、高成本效益和强大的软件生态系统”，并由其“成熟且广泛采用的软件堆栈”提供支持，据该初创公司称，每月有超过10000名用户使用该软件堆栈。XNz品论天涯网

采用Hailo-10H的公司包括惠普公司，该公司使用该芯片作为HPAIAcceleratorM.2卡的基础，该卡可以与HP点对点销售服务以及HP工作站和商用PC“无缝”集成。XNz品论天涯网

该初创公司表示，Hailo-10H可以实现自然语言人机交互、视觉感知和多模式人工智能等高级用例在边缘环境典型的功率和成本限制内无缝运行。”XNz品论天涯网

该初创公司表示，在Hailo进行的性能基准测试中，该芯片在各种20亿参数语言和视觉语言模型中实现了“第一个词元延迟低于1秒，每秒超过10个词元”。XNz品论天涯网

Hailo是挑战NVIDIA的几家AI芯片初创公司之一，其合作伙伴范围广泛，包括惠普、戴尔和研华等OEM厂商，以及J-SquaredTechnologies和KagaFeiAmerica等分销商。XNz品论天涯网

Hailo推出用于边缘设备的GenAI芯片 功耗仅为2.5瓦

Hailo推出用于边缘设备的GenAI芯片功耗仅为2.5瓦