人工智能

元象开源高性能大模型XVERSE-65B-2底座版 提升代码和数学能力

字号+作者: 来源:站长之家 2023-12-19 08:31 评论(创建话题) 收藏成功收藏本文

站长之家(ChinaZ.com)12月19日 消息:元象宣布开源高性能大模型 XVERSE-65B-2底座版,专项提升其代码和数学能力,并保持了上一代强大的生成创作、角色扮演与'...

站长之家(ChinaZ.com)12月19日 消息:元象宣布开源高性能大模型 XVERSE-65B-2底座版,专项提升其代码和数学能力,并保持了上一代强大的生成创作、角色扮演与工具使用等能力,为生态献上了一个 “文理兼修、大有可为” 的大模型。LkJ品论天涯网

XVERSE-65B-2在上一代基础上通过综合优化器状态、学习率调节策略和采样比进行了 Continual Pre-Training,训练 token 总量达3.2万亿;模型支持中、英、俄、法等40多种语言,上下文窗口为16K。LkJ品论天涯网

元象大模型系列坚持 “高性能” 定位,在研究人员参考一系列权威学术测评制定的六个维度、11项主流测评标准中,XVERSE-65B-2在八成测评中超越了 GPT3.5,并全面超越开源标杆 Llama2-70B 和 Falcon-180B;与 GPT4仍有差距。LkJ品论天涯网

最新发布的 SuperCLUE 中文通用大模型综合测评,在1052道多轮简答题和3213道客观选择题测试中,XVERSE-65B 在国内开源模型中总分第一,展现了出众实力。LkJ品论天涯网

微信截图_20231219083140.pngLkJ品论天涯网

与7B、13B 相比,65B 显著提升大模型的理解、生成、逻辑和记忆等能力,可处理更多样、更困难的任务,如构建智能体(AI Agent),也通过高质量数据与搜索增强,极大降低了模型幻觉问题。LkJ品论天涯网

至此,元象共开源70亿、130亿、650亿参数的3款大模型,其中 XVERSE-65B 为国内最早开源、最大参数的免费商用模型。LkJ品论天涯网

项目地址:LkJ品论天涯网

Github:https://github.com/xverse-ai/XVERSE-65BLkJ品论天涯网

Hugging Face:https://huggingface.co/xverse/XVERSE-65B-2LkJ品论天涯网

ModelScope魔搭:https://modelscope.cn/models/xverse/XVERSE-65B-2LkJ品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]

相关文章