人工智能

OpenBuddy发布新一代中文跨语言大模型 基于Llama 3 70B打造

字号+作者: 来源:站长之家 2024-05-10 08:29 评论(创建话题) 收藏成功收藏本文

站长之家(ChinaZ.com) 5月10日 消息:OpenBuddy 团队发布了基于 Meta Llama370B 的最新成果:OpenBuddy-Llama3-70B-v21.1-8k,这是他们首次在 Llama370B '...

站长之家(ChinaZ.com) 5月10日 消息:OpenBuddy 团队发布了基于 Meta Llama370B 的最新成果:OpenBuddy-Llama3-70B-v21.1-8k,这是他们首次在 Llama370B 基座上的中文跨语言训练尝试。F4Y品论天涯网

Llama370B 是一个15T 训练集训练而成的稠密大模型,然而由于训练集中缺少中文数据,Meta 官方的 Llama3系列对话模型在中文领域的认知、理能力较弱,容易出现以英文回答中文问题的现象。F4Y品论天涯网

AI,人工智能,机器人,2024d9dc94358d8eF4Y品论天涯网

因此,OpenBuddy 团队在此次训中选择了 Llama370B Base 模型作为基础,重点提升模型的跨语言理解、认知能力。F4Y品论天涯网

测试过程中,OpenBuddy-Llama3-70B 展现出了优秀的中文理解能力,具备了更的认知潜力和量化后性能。在此次发布的模型中,他们对 Llama3现有词表进行了扩,增加了7000余个中文字词,进一步提升了模型中文编码密度。F4Y品论天涯网

值得一提的是,于量化版模型能力下降较为明显,他们本次只发布了模型的完整版权重,后续会尝优化70B 模型的量化后性能,并挑选合适时机发布量化版。F4Y品论天涯网

模型链接:F4Y品论天涯网

https://www.modelscope.cn/models/OpenBuddy/openbuddy-llama3-70b-v21.1-8k/summaryF4Y品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]

相关文章