人工智能

泄露的基准测试表明Meta Llama 3.1 405B模型的性能可能超过OpenAI GPT-4o

字号+作者: 来源:cnBeta 2024-07-23 07:40 评论(创建话题) 收藏成功收藏本文

2024年4月,Meta推出了新一代最先进的开源大型语言模型Llama3。前两个模型Llama38B和Llama370B为同类规模的LLM树立了新的基准。然而,在短短三个月内,其他'...

2024年4月,Meta推出了新一代最先进的开源大型语言模型Llama3。前两个模型Llama38B和Llama370B为同类规模的LLM树立了新的基准。然而,在短短三个月内,其他几个LLM的性能已经超过了它们。XrU品论天涯网

XrU品论天涯网

Meta已经透露,其最大的Llama3型号将拥有超过4000亿个参数,目前仍在训练中。今天,LocalLLaMA子论坛泄露了即将推出的Llama3.18B、70B和405B模型的早期基准测试结果。泄露的数据表明,MetaLlama3.1405B可以在几个关键的人工智能基准测试中超越目前的领先者OpenAI的GPT-4o。这对开源人工智能社区来说是一个重要的里程碑,标志着开源模型可能首次击败目前最先进的闭源LLM模型。XrU品论天涯网

Meta在"Llama3"发布会上表示:XrU品论天涯网

我们致力于开放式人工智能生态系统的持续增长和发展,以负责任的方式发布我们的模型。我们一直坚信,开放会带来更好、更安全的产品、更快的创新和更健康的整体市场。这对Meta有利,对社会也有利。XrU品论天涯网


XrU品论天涯网

如基准测试所示,MetaLlama3.1在GSM8K、Hellaswag、boolq、MMLU-humanities、MMLU-other、MMLU-stem和winograd等多项测试中均优于GPT-4。但是,它在HumanEval和MMLU-socialsciences方面却落后于GPT-4。XrU品论天涯网

值得注意的是,这些数据来自Llama3.1的基本模型。要充分释放模型的潜力,对其进行教学调整非常重要。随着Llama3.1模型指令版本的发布,其中许多结果可能会有所改善。XrU品论天涯网

尽管OpenAI即将推出的GPT-5预计将具备先进的推理能力,可能会挑战Llama3.1在LLM领域的潜在领导地位,但Llama3.1在GPT-4o中的强劲表现仍然彰显了开源人工智能开发的力量和潜力。这种持续的进步可能会使获取尖端人工智能技术的途径更加民主化,并加速技术行业的创新。XrU品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]