快科技1月29日消息,1月21日,猎户星空发布了开源大模型Orion-14B,以其140亿参数规模展现出了卓越的性能,在多个权威通用能力上Orion-14B表现出百亿参数大模型基座能力的行业领先性。
不仅如此,Orion-14B超越了市面上许多更大参数的模型,尤其日语和韩语能力表现优秀,评测全球第一。
猎户星空董事长傅盛强调,Orion-14B在语料训练中专门强化了日语和韩语,旨在为猎户星空出海商用机器人应用提供支持。
猎户星空机器人在日本和韩国不仅限于送餐服务,还能与用户进行流畅的交流。
值得一提的是,Orion-14B通过AWQ Q4量化技术,模型大小减少70%,推理速度提升30%,性能几乎无损(损失小于1%),在千元级显卡可以流畅运行。在NVIDIA RTX 3060显卡实测,推理速度可达31 token/s (约每秒50汉字)。
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】