OpenAI连续12天发布会还剩最后一天，期待中的"重磅"迟迟没来，反而失去了一位核心研究人员。OpenAI人事方面的变动还在继续。今日，据外媒TheInformation报道，OpenAI元老级人物AlecRadford即将离职，离职后进行独立研究。
据了解Radford信息的人士透露，Radford表示他计划与OpenAI以及其他AI开发者展开合作。
OpenAI研究主管MarkChen在一份声明中表示：“我们对Alec及其贡献有着深深的敬意和感激，并期待在他探索独立研究的同时，继续与他合作开展项目。”
也许你没听说过Radford这个人，但他参与的研究却是重量级的，在他2016年加入OpenAI后，带来了一系列革命性突破，比如大家熟知的初代GPT，还主导了GPT-2的研发等等。
在前几天火热进行的NeurIPS2024大会上，OpenAI前首席科学家IlyaSutskever在他的演讲中特别提到了AlecRadford、DarioAmodei等人参与的GPT-2、GPT-3开创性工作，它们推动了预训练时代以及所有进步的到来。
有人猜测，Radford的离职预示着GPT-4.5就要来了。因为之前OpenAI高级语音模式发布后的第二天，首席技术官MiraMurati官宣离职。这么推算下来，作为GPT系列的重磅参与者，GPT-4.5很可能就是明天发布（毕竟是OpenAI连发12天的最后一天）。
对此，有人赞同的表示：“也许他想在离开之前完成手头的项目。这并非完全不可能。”
在这条评论下，有人回答道“他虽然做了深入研究，但没有参与任何发布（没有走到台前，一直在幕后），不像Murati或其他已经离开的人。如果他不得不等待某件事，那么在GPT-5发布后离开会更合适。但老实说，他的离职在某种程度上可能有益于开源研究，因为离开OpenAI后会被允许再次发表文章。不过我不知道OpenAI的情况，对他们来说，前景看起来很暗淡。”
还有人表示人们低估了Alec对OpenAI以及整个AI研究的影响。他不仅是GPT和Dall-E的主要作者，而且很可能引领了公司所有重要的研究方向。甚至表示他的影响力不亚于Ilya。这对OpenAI来说是一个巨大的损失，但该网友同时也希望Alec可以做一些开放的研究并发表一些东西，这样整个世界都可以受益。
此前，不列颠哥伦比亚大学教授JeffClune在X上发起了一个讨论，“谁是世界上最重要但又最被低估的AI科学家？在我看来，只有一个明确的正确答案。大多数重大进展背后都有一个人，但却很少被提及或庆祝。”
JeffClune毫不犹豫的推荐了AlecRadford，“Radford显然是影响力最大但知名度最低的人。他推动了许多令人惊叹的发展，他应该作为现代生成式人工智能之父载入史册。Radford也是一个非常好的人，不追求荣誉，这也是他很少受到关注的部分原因。我们更有理由谈论他对人工智能的巨大影响！”
“Radford的研究绝对是领先的。他的贡献绝对是惊人的，至少三次改变了这个领域！我们欠他很多。”
他全程参与了GPT系列模型的研发
AlecRadford是GPT-1的一作、GPT-2的共同一作，其中GPT-1的被引数已经达到了11947，GPT-2的被引数为14828。
2018年，GPT-1开启了预训练大模型时代，提出“半监督（semi-supervised）”（后来普遍称为自监督）的方法，先在没有标号的数据上面训练一个预训练模型，再在少量标号数据上面训练一个分辨的微调模型。
2019年，OpenAI在GPT-1的基础上发布了GPT-2，利用无监督预训练模型做有监督任务。相较于初代模型进行诸多改进，GPT-2参数达到15亿，可以执行多样性任务，开始学习在不需要明确监督的情况下执行数量惊人的任务。在GPT-2阶段，OpenAI去掉了GPT-1阶段的有监督微调（fine-tuning），成为无监督模型。
GPT-1论文：https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
GPT-2论文：https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
不仅如此，AlecRadford还参与了GPT-3论文的撰写、以及GPT-4的预训练数据和架构研究工作
2020年，到了GPT-3阶段，参数相较于GPT-2增加两个数量级以上，达到了1750亿参数，在许多NLP数据集上都有很强的性能（包括翻译、问题解答和完形填空任务），以及一些需要动态推理或领域适应的任务（如解译单词、在句子中使用一个新单词或执行算术）。
2023年，GPT-4开始迈向多模态模型，成为AI新里程碑，可以解决更复杂的问题、编写更大型的代码，并通过图片产生文字。GPT-4的回答准确性不仅大幅提高，还具备更高水平的识图能力，且能够生成歌词、创意文本，实现风格变化。
GPT-3论文：https://arxiv.org/pdf/2005.14165
GPT-4技术报告：https://arxiv.org/pdf/2303.08774
根据GoogleScholar显示，AlecRadford的论文被引总数超过了19万，其中1万以上的达到7篇，足可见其参与工作的含金量和影响力。
https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs
https://x.com/jeffclune/status/1841167663252615634
https://www.reddit.com/r/singularity/comments/1hi3tth/alec_radford_the_lead_author_of_openais_original/
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】