人工智能

清华系ChatGPT发布:唐杰团队打造,专对中文优化,还能把握最新新闻动态

终于,清华大学唐杰团队也出手了。就在GPT4发布的同一天,唐教授在微博宣布:基于千亿参数大模型的对话机器人ChatGLM,现在开启邀请制内测。据介绍,ChatGLM专门'...

终于,清华大学唐杰团队也出手了。就在GPT4发布的同一天,唐教授在微博宣布:基于千亿参数大模型的对话机器人ChatGLM,现在开启邀请制内测。3xg品论天涯网

3xg品论天涯网

据介绍,ChatGLM专门针对中文进行了优化,可以说是国人友好~3xg品论天涯网

看起来,写博客提纲、创作剧本、解数学题、写代码,甚至是扮演高冷御姐,它都拿捏的死死的:3xg品论天涯网

3xg品论天涯网

△ 写介绍ChatGLM的博客提纲3xg品论天涯网

3xg品论天涯网

△ Cosplay聊天扮演高冷御姐3xg品论天涯网

量子位有幸拿到了内测名额,将在后文进行一波实测。3xg品论天涯网

与此同时,还有另一个消息宣布:3xg品论天涯网

唐杰团队为了与社区一起更好地推动大模型技术的发展,同时开源了包含62亿参数的双语ChatGLM-6B模型。3xg品论天涯网

它最大的特点是在普通电脑上就能进行部署,有一块2080Ti就行。3xg品论天涯网

一起来看看。3xg品论天涯网

能写文言文致辞,知道何恺明最新动态,但……3xg品论天涯网

先看ChatGLM,它是唐杰团队大模型家族时隔半年诞生的一位新成员。3xg品论天涯网

alpha内测版名称叫QAGLM(全称qa-glm-v0.7)。3xg品论天涯网

3xg品论天涯网

浅试一下效果。3xg品论天涯网

首先,我们让它说了一下它和ChatGPT的区别。3xg品论天涯网

3xg品论天涯网

它点出了自己的研发机构,和擅长中文的特点。3xg品论天涯网

那么,就让它用文言文写个致谢词叭。3xg品论天涯网

3xg品论天涯网

咋说,虽然多了一个“余”、出现了一个莫名其妙的繁体字,但读着还可以,用的排比句增强了气势。3xg品论天涯网

接着,我们把前几日硅谷暴雷的文章开头丢给它,让它起个标题。3xg品论天涯网

感觉还不错,起码抓住了几个关键信息。3xg品论天涯网

3xg品论天涯网

不幸的是,论文挑战没有通过,我们把GLM-130B的链接扔给它,让它简要概括一下主题时,它说的根本不是这篇。3xg品论天涯网

跟ChatGPT胡邹参考文献的操作简直有得一拼(手动狗头)。3xg品论天涯网

3xg品论天涯网

接下来,考考它的数学能力吧。3xg品论天涯网

这道小学应用题没问题:3xg品论天涯网

3xg品论天涯网

不过鸡兔同笼,就难倒它了,最后居然还算出了负数==3xg品论天涯网

3xg品论天涯网

编程方面,也可以解决简单的算法题。3xg品论天涯网

归纳信息能力呢?我们给了一段英文需求,不难:3xg品论天涯网

3xg品论天涯网

结果正确:3xg品论天涯网

3xg品论天涯网

需要注意的是,目前ChatGLM每轮对话最多只可以进行5个来回,每次最多输入1000字。3xg品论天涯网

它对新信息的掌握度不错,知道推特现在的CEO是马斯克,也知道何恺明3月10日回归学界的事情,但还没发现GPT-4已经发布了。3xg品论天涯网

3xg品论天涯网

以及,目前响应速度还是非常快的,无论什么问题,回答得对不对,基本几秒内就能给出答案。3xg品论天涯网

最后,量子位也让它来了个cosplay,看看哄女朋友的本事如何:3xg品论天涯网

3xg品论天涯网

emmm,虽然有点板正,但听完这段话“我”的气确实消了。3xg品论天涯网

那么,以上就是我们的测试结果,各位觉得如何?3xg品论天涯网

基于1300亿参数的基座模型打造3xg品论天涯网

据官方介绍,ChatGLM参考了ChatGPT的设计思路,在千亿基座模型GLM-130B中注入了代码预训练,通过有监督微调等技术来实现人类意图对齐(就是让机器的回答符合人类价值观、人类期望)。3xg品论天涯网

3xg品论天涯网

这个GLM-130B的来头值得说道一番。3xg品论天涯网

它是由清华大学知识工程实验室(KEG)与智谱AI共同研发的一个大规模中英文预训练语言模型,参数1300亿,去年8月正式对外发布。3xg品论天涯网

不同于BERT、GPT-3以及T5的架构,GLM-130B是一个包含多目标函数的自回归预训练模型。3xg品论天涯网

它的优势包括:3xg品论天涯网

3xg品论天涯网

在Stanford报告的30个世界主流大模型评测中,GLM-130B也成为了亚洲唯一入选的模型。3xg品论天涯网

且获得了不错的成绩:3xg品论天涯网

比如在准确性和恶意性指标上与GPT-3175B (davinci) 接近或持平,鲁棒性和校准误差在所有千亿规模的基座大模型(作为公平对比,只对比无指令提示微调模型)中也可圈可点。3xg品论天涯网

3xg品论天涯网

而就在CCF最近的一场会议上,有现场观众提问:ChatGPT为什么没有诞生在中国?是我们没有关注这件事吗?3xg品论天涯网

嘉宾就把GLM-130B搬了出来(它也入选了ICLR’23)。3xg品论天涯网

现在,GLM-130B也终于被派上了“大用场”。3xg品论天涯网

关于内测,唐杰团队表示,后续会逐步扩大范围,有兴趣的朋友可以再等一等。3xg品论天涯网

60亿参数的缩小版同时开源3xg品论天涯网

除了这个聊天机器人ChatGLM,唐杰团队这次也把GLM-130B的“缩小版”ChatGLM-6B开源了出来。3xg品论天涯网

3xg品论天涯网

△ GitHub已经揽获近2k标星3xg品论天涯网

ChatGLM-6B使用与ChatGLM相同的技术,初具中文问答和对话功能。3xg品论天涯网

特点如下:3xg品论天涯网

3xg品论天涯网

当然,缺点就是容量只有60亿,其模型记忆和语言能力较弱,不擅长逻辑类问题(如数学、编程),以及多轮对话可能会出现上下文丢失和理解错误的情况。3xg品论天涯网

但它主打的就是一个低门槛,在单张2080Ti上就能进行推理使用,硬件需求不高。3xg品论天涯网

因此,只要有兴趣都可以下载下来试试,进行研究和(非商用的)应用开发都可以。3xg品论天涯网

     3xg品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]