站长之家(ChinaZ.com) 5月10日 消息:OpenBuddy 团队发布了基于 Meta Llama370B 的最新成果:OpenBuddy-Llama3-70B-v21.1-8k,这是他们首次在 Llama370B 基座上的中文跨语言训练尝试。
Llama370B 是一个15T 训练集训练而成的稠密大模型,然而由于训练集中缺少中文数据,Meta 官方的 Llama3系列对话模型在中文领域的认知、理能力较弱,容易出现以英文回答中文问题的现象。
因此,OpenBuddy 团队在此次训中选择了 Llama370B Base 模型作为基础,重点提升模型的跨语言理解、认知能力。
测试过程中,OpenBuddy-Llama3-70B 展现出了优秀的中文理解能力,具备了更的认知潜力和量化后性能。在此次发布的模型中,他们对 Llama3现有词表进行了扩,增加了7000余个中文字词,进一步提升了模型中文编码密度。
值得一提的是,于量化版模型能力下降较为明显,他们本次只发布了模型的完整版权重,后续会尝优化70B 模型的量化后性能,并挑选合适时机发布量化版。
模型链接:
https://www.modelscope.cn/models/OpenBuddy/openbuddy-llama3-70b-v21.1-8k/summary
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】