人工智能

讯飞星火V3.5整体接近GPT-4 Turbo!首个13B开源大模型发布,深度适配国产算力

字号+作者: 来源:​新智元公众号 2024-01-31 08:55 评论(创建话题) 收藏成功收藏本文

声明:本文来自于微信公众号 新智元(ID:AI_era),作者:新智元,授权站长之家转载发布。【新智元导读】首个基于全国产化算力平台「飞星一号」的大模型,正式开源'...

声明:本文来自于微信公众号 新智元(ID:AI_era),作者:新智元,授权站长之家转载发布。xpL品论天涯网

【新智元导读】首个基于全国产化算力平台「飞星一号」的大模型,正式开源!xpL品论天涯网

1月26日,美国商务部长雷蒙多表示,拜登政府正在尽全力阻止中国获得训练AI模型所需的算力资源。xpL品论天涯网

美国的云计算公司,都被要求确定是否有外国实体正在访问美国数据中心以训练AI模型。xpL品论天涯网

雷蒙多表示:「我们不能让非国家主体、中国或我们不希望访问我们的云计算系统的人,来训练他们的模型。」xpL品论天涯网

显然,在被算力卡脖子的当下,深度适配国产算力的开源大模型,意义格外重大。xpL品论天涯网

就在1月30日,科大讯飞重磅发布首个全国产算力训练的全民开放大模型——讯飞星火V3.5。xpL品论天涯网

实测结果显示,讯飞星火V3.5在七大核心能力上都获得了全面提升。甚至,在数学、语言理解和语音交互能力上还超越了GPT-4Turbo。xpL品论天涯网

而同时发布的星火语音大模型,也在首批的37个主流语种上,实现了对OpenAI Whisper V3的超越。xpL品论天涯网

此外,科大讯飞还首次开源了深度适配国产算力,拥有130亿参数的iFlytekSpark-13B模型(星火开源-13B)。不仅场景应用效果领先,而且还对学术和企业研究完全免费。xpL品论天涯网

昇思MindSpore开源社区:https://xihe.mindspore.cn/modelzoo/iflytek/introducexpL品论天涯网

启智社区:https://openi.pcl.ac.cn/iflytek/iFlytekSpark-13BxpL品论天涯网

Gitee地址:https://gitee.com/iflytekopensource/iFlytekSpark-13BxpL品论天涯网

首个「全栈国产化」开源模型来了xpL品论天涯网

具体来说,此次开源不仅包括基础模型iFlytekSpark-13B-base、精调模型iFlytekSpark-13B-chat,还有微调工具iFlytekSpark-13B-Lora,以及人设定制工具iFlytekSpark-13B-Charater。xpL品论天涯网

基于这些全栈自主创新的套件,企业和机构可以方便地训练自己的大模型了。xpL品论天涯网

图片xpL品论天涯网

那么,基础模型和精调模型性能如何?xpL品论天涯网

可以看到,在C-EVAL、MMLU、CMMLU、AGIEVAL、FinancelQ等多项榜单测试中,与同尺寸开源模型相比,iFlytekSpark-13B更胜一筹。xpL品论天涯网

图片xpL品论天涯网

而针对典型的应用场景,iFlytekSpark-13B在文本生成上提升23%,在语言理解上提升13%,文本改写提升25%,行业问答提升50%,机器翻译提升17%,头脑风暴提升29%。xpL品论天涯网

正是科大讯飞团队对学习辅助、语言理解等领域的深入研究和优化,大幅提升了模型实用性,使得处理复杂任务时更得心应手。xpL品论天涯网

这种优化不仅提高了模型的理解能力和生成质量,还确保了其在面对多样化和专业化的应用场景时能够保持高效和准确。xpL品论天涯网

图片xpL品论天涯网

这对于追求高性能、低成本的企业来说,无疑有着巨大的吸引力,同时为各行各业的企业提供了一种性价比高的解决方案。xpL品论天涯网

图片xpL品论天涯网

深度适配国产算力xpL品论天涯网

面对算力的紧缺,只有国产算力取得突破,才能为大模型行业的发展提供强有力的支撑。xpL品论天涯网

为此,讯飞星火与昇腾强强联合,打造了全国产的通用智能新底座,和基于自主创新的算力平台。xpL品论天涯网

2023年8月15日,「星火一体机」正式发布——不仅可以为大模型提供源源不断的算力,还能提供大模型的训练、推理、优化、部署等全流程能力。xpL品论天涯网

紧接着,在2023年10月24日又发布了国内首个可以训练万亿浮点参数大模型的大规模算力平台「飞星一号」。xpL品论天涯网

合作期间,科大讯飞发挥多年积累的算法优势,深度参与大模型底层算子库开发和优化、大模型算法迁移和超大规模集群智能化运维软件开发等工作。xpL品论天涯网

而攻关团队也放弃了中秋等节日的休息,才加班加点地推出了「飞星一号」平台。xpL品论天涯网

具体来说,「飞星一号」平台采用的是昇腾AI集群和大容量交换机构建无损ROCE组网,以及高空间的全闪和混闪并行文件系统。xpL品论天涯网

模型通过昇思MindSpore AI框架的训练效率提升了40%,与昇腾AI硬件协同实现超强性能。xpL品论天涯网

此外,训练策略针对昇腾算力进行了极致优化,充分展示了国产算力在追赶国际先进水平方面的决心和能力。xpL品论天涯网

图片xpL品论天涯网

有了国产软硬件环境的深度优化,模型的训练效果也直接翻番。xpL品论天涯网

如今星火开源-13B的发布,距离1024「讯飞星火认知大模型」V3.0的升级才刚刚过去三个月。xpL品论天涯网

自主创新开源生态xpL品论天涯网

而开源,则是为了推动人工智能和机器学习领域的协作,在全球范围内促进技术革新。xpL品论天涯网

它可以让更多的做理论研究和学术探索的科研院所、企业和个人加入进来,以此增进学术合作,增进产业探索。xpL品论天涯网

因为,只有当开源有更多的落地场景,才能更好地促进生态合作。xpL品论天涯网

一直站在「开源派」阵列的图灵三巨头之一LeCun曾在AI Native大会上称,「我认为开放是必然之路。因为大模型将成为社会人人依赖的基础设施,所以必须是开放的」。xpL品论天涯网

图片xpL品论天涯网

对于国内的大模型生态来说,亦是如此。xpL品论天涯网

此前,科大讯飞开源的中文预训练模型,成为许多高校和企业打造创新应用的基石,推动了业界在语音和语言处理技术上的快速发展。xpL品论天涯网

图片xpL品论天涯网

而现在,iFlytekSpark-13B的发布,成为中国在自主创新和科技自立自强道路上的重要里程碑。xpL品论天涯网

针对算力安全问题,科大讯飞提出了一种全新的实践方案——「全栈国产化」开源。xpL品论天涯网

自主开发的大模型和算力平台,不仅能促进国内科研人员和企业的创新,还可以推动相关领域科技进步,增强国家技术安全,加速AI技术的社会和经济应用。xpL品论天涯网

为此,科大讯飞还在2023年7月正式成立了星火军团,负责助力客户大模型产品打造和应用落地,赋能千行百业。xpL品论天涯网

未来,在全国产化算力平台的支撑下,星火认知大模型将进一步对标国际先进水平,而星火开源大模型,也将使国内开源生态更加欣欣向荣。xpL品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]