人工智能

ChatGPT全球最大开源平替:回复更受欢迎 但中文对话一塌糊涂

字号+作者: 来源:机器之心 2023-04-16 17:39 评论(创建话题) 收藏成功收藏本文

事实证明,将大型语言模型(LLM)与人类偏好保持一致可以显著提高可用性,这类模型往往会被快速采用,如ChatGPT所证明的那样。监督微调(SFT)和基于人类反馈的'...

事实证明,将大型语言模型(LLM)与人类偏好保持一致可以显著提高可用性,这类模型往往会被快速采用,如ChatGPT所证明的那样。监督微调(SFT)和基于人类反馈的强化学习(RLHF)等对齐技术大大减少了有效利用LLM功能所需的技能和领域知识,从而提高了它们在各个领域的可访问性和实用性。a0E品论天涯网

然而,像RLHF这样最先进的对齐技术依赖于高质量的人工反馈数据,这些数据的创建成本很高,而且通常仍然是专有的。a0E品论天涯网

为了使大规模对齐研究民主化,来自LAIONAI等机构(Stablediffusion使用的开源数据就是该机构提供的。)的研究者收集了大量基于文本的输入和反馈,创建了一个专门训练语言模型或其他AI应用的多样化和独特数据集OpenAssistantConversations。a0E品论天涯网

该数据集是一个由人工生成、人工注释的助理式对话语料库,覆盖了广泛的主题和写作风格,由161443条消息组成,分布在66497个会话树中,使用35种不同的语言。该语料库是全球众包工作的产物,涉及超过13500名志愿者。对于任何希望创建SOTA指令模型的开发者而言,它都是一个非常宝贵的工具。并且任何人都可以免费访问整个数据集。a0E品论天涯网

此外,为了证明OpenAssistantConversations数据集的有效性,该研究还提出了一个基于聊天的助手OpenAssistant,其可以理解任务、与第三方系统交互、动态检索信息。可以说这是第一个在人类数据上进行训练的完全开源的大规模指令微调模型。a0E品论天涯网

结果显示,OpenAssistant的回复比GPT-3.5-turbo(ChatGPT)更受欢迎。a0E品论天涯网

网友表示:做得好,超越OpenAI(抱歉是ClosedAI)。a0E品论天涯网


a0E品论天涯网

01.研究介绍a0E品论天涯网

OpenAssistantConversations的基本数据结构是会话树(ConversationTree,CT),其中的节点表示会话中的消息。a0E品论天涯网


a0E品论天涯网

OpenAssistantConversations数据是使用web-app界面收集的,包括5个步骤:提示、标记提示、将回复消息添加为提示器或助手、标记回复以及对助理回复进行排名。a0E品论天涯网


a0E品论天涯网

下图为OpenAssistantConversations数据集语言分布,主要以英语和西班牙语为主:a0E品论天涯网


a0E品论天涯网

02.实验结果a0E品论天涯网

指令微调a0E品论天涯网

为了评估和证明OpenAssistantConversations数据集的有效性,研究者专注于基于Pythia和LLaMA的微调语言模型。其中Pythia是一个具有宽松开源许可的SOTA语言模型,而LLaMA是一个具有定制非商业许可的强大语言模型。a0E品论天涯网

对此,研究者发布了一系列微调语言模型,包括指令微调的Pythia-12B、LLaMA-13B和LLaMA-30B,这是他们迄今最大的模型。研究者将分析重心放在了具有开源属性的Pythia-12B模型上,使得它可以被广泛访问并适用于各种应用程序。a0E品论天涯网

为了评估Pythia-12B的性能,研究者展开了一项用户偏好研究,将其输出与OpenAI的gpt-3.5-turbo模型进行比较。目前已经有7,042项比较,结果发现Pythia-12B对gpt-3.5-turbo的胜率为48.3%,表明经过微调的Pythia模型是非常具有竞争力的大语言模型。a0E品论天涯网

偏好建模a0E品论天涯网

除了指令微调模型之外,研究者还发布了基于Pythia-1.4B和Pythia-12B的经过训练的奖励模型。利用在真实世界数据上训练的奖励模型可以为用户输入带来更准确和自适应的响应,这对于开发高效且对用户友好的AI助手至关重要。a0E品论天涯网

研究者还计划发布经过人类反馈强化学习(RLHF)训练的LLaMA-30B,这种方法可以显著提升模型性能和适应性。不过,基于RLHF方法的模型开发与训练正在进行中,需要进一步努力确保成功地整合进来。a0E品论天涯网

有毒信息a0E品论天涯网

研究者采取基于Detoxify的毒性检测方法来获得六个不同类别的自动评级,分别是有毒、色情、威胁、侮辱、攻击性、露骨言论。使用自动毒性评级,研究者系统地评估了人工指定毒性标签(如仇恨言论、不恰当和色情)的级别。并且基于115,153条消息样本,他们计算了自动与人工注释毒性标签之间的相关性,如下图5所示。a0E品论天涯网


a0E品论天涯网

与GPT-3.5(ChatGPT)的比较a0E品论天涯网

我们来看几组OpenAssistant与GPT-3.5的生成结果比较。比如“单词barn的词源/起源是什么?”可以看到,OpenAssistant解释地更详细、全面。a0E品论天涯网


a0E品论天涯网

再比如输入“你现在是一个普通的人类。请介绍一下你自己并告诉我一些你的日常生活。”OpenAssistant代入了普通人类的角色,GPT-3.5显然没有,还是以AI语言模型自居。a0E品论天涯网


a0E品论天涯网

最后输入“如何创建一个成功的YouTube频道,从开发一个利基市场到创建内容以建立一个社区并货币化频道?”OpenAssistant的回答相对而言更有条理性。a0E品论天涯网


a0E品论天涯网

03.体验下来,中文不太行a0E品论天涯网

目前的OpenAssistant基于“OA_SFT_Llama_30B”模型,最大新token的数量为1024,支持了英文、中文、日语等数十种语言。a0E品论天涯网


a0E品论天涯网

先让它做一下自我介绍。a0E品论天涯网


a0E品论天涯网

然而在中文对话体验中发现,有时输入中文,但输出的仍是英文。比如“用中文写一首关于春天的诗歌”。a0E品论天涯网


a0E品论天涯网

除了有时无法输出中文之外,中文百科知识方面也表现不佳。比如“介绍一下李白和杜甫”。a0E品论天涯网


a0E品论天涯网

再比如“鲁智深是红楼梦中的角色,你觉得对吗”,人名和出处都搞错了。a0E品论天涯网


a0E品论天涯网

另外在中英互译方面也不太好使。a0E品论天涯网


a0E品论天涯网


a0E品论天涯网

更不用提数学问题了,比如经典的鸡兔同笼问题。a0E品论天涯网


a0E品论天涯网

这可能是因为在中文等其他语言的适配性上没有进行优化,希望未来可以改进。a0E品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]