SamAltman的欧洲之行仍在进行中。前不久，在伦敦，他和AI公司HumanLooop的CEO进行了一次闭门讨论。HumanLoop是一家帮助开发者在大语言模型上构建应用的公司。HumanLoop的CEORazaHabib记录了这次谈话的要点，并公开在公司官网上。但随后在OpenAI的要求下，这份纪要被撤下。这反而增强了外界对这次谈话的好奇心。有人推测，是其中所涉及的OpenAI的一些想法有所更改。
极客公园在浏览了这份被删除的谈话纪要后，发现其中不仅涉及Sam眼中对OpenAI的短期规划，也隐藏着获得微软云计算资源大力支持后，OpenAI所承担的压力。毕竟，模型的微调、推理依旧消耗大量计算资源。据TheInformation报道，OpenAI的模型已经花费了MicrosoftAzure12亿美元，将计算资源集中于支持OpenAI，也让微软的其他部门可使用的服务器受限。
对此，Sam表示降低成本是目前的首要目标。
此外，Sam还透露：目前，开放更长的上下文窗口、提供微调API等服务都受到GPU资源的限制；
这场对话中，SamAltman回应了许多外界关心的问题，比如竞争与商业化：
尽管刚刚招聘了一位世界级的产品经理PeterDeng，但OpenAI不会考虑发布更多的产品；
未来的应用趋势是大模型的功能嵌入更多APPs，而不是在ChatGPT上生长出更多插件，因为现实中大多数插件并没有呈现出PMF（Product/MarketFit，即产品市场匹配）；
过去几年，OpenAI以数百万倍的速度扩展模型规模，但这样的速度不可持续。接下来，OpenAI会继续以1到3倍的速度，增加模型规模，以提升模型性能。
谈话纪要公开于5月29日，根据网友的记录，于6月3日左右删除。以下是通过备份获得的内容：
01.OpenAI目前受到GPU的严重限制
随着对话扩展，所需的计算资源呈指数增长
目前OpenAI的GPU非常有限，这拖延了他们许多短期计划。客户最大的抱怨是API的可靠性和速度。Sam承认他们的担忧，并解释说，大部分问题是由于GPU短缺。
Thelonger32kcontextcan』tyetberolledouttomorepeople.OpenAIhaven』tovercometheO(n^2)scalingofattentionandsowhilstitseemedplausibletheywouldhave100k-1MtokencontextWindowssoon(thisyear)anythingbiggerwouldrequirearesearchbreakthrough.
更长的32K上下文还不能提供给更多的人。OpenAI还没有克服注意力机制的O(n^2)的扩展问题，尽管看起来，他们很快(今年)就会拥有100k-1MToken的上下文窗口。任何更大的窗口都需要研究突破。
注：O(n^2)意味着，随着序列长度的增加，执行Attention计算所需的计算资源呈指数增长。O用来描述算法时间或空间复杂度增长速度的上限或最坏情况；（n^2）表示复杂度与输入大小的平方成正比。
微调API目前也受到GPU可用性的限制。他们还没有使用像Adapters或LoRa这样的高效微调方法，因此，通过微调进行运行和管理（模型）非常计算密集。未来将对微调提供更好的支持。他们甚至可能主持一个基于社区的模型贡献市场。
专用容量供应受GPU可用性的限制。OpenAI提供专用容量，为客户提供模型的私有副本。要获得这项服务，客户必须愿意承诺预先支付10万美元。
02.OpenAI的近期路线图
2023，降低智能成本；2024，多模态的有限演示
Sam也分享了他所看到的OpenAIAPI临时近期路线图。
2023:
更便宜更快的GPT-4ーー这是他们的首要任务。总体而言，OpenAI的目标是尽可能地降低「智能成本」，因此他们将努力工作，随着时间的推移继续降低API的成本。
更长的上下文窗口ーー在不久的将来，上下文窗口可能高达100万个Token。
微调APIー微调API将扩展到最新模型，但具体的形式将取决于开发者表明他们真正想要什么。
一个有状态的API（statefulAPI)-当今天调用聊天API时，你必须反复通过相同的会话历史，反复支付相同的tokens。将来会有一个版本的API可以记住会话历史记录。
2024：
多模态-这作为GPT-4版本的一部分进行演示，但在更多GPU上线之前不能扩展到所有人。
03.商业化预判和思考：
插件「没有PMF」，可能不会很快出现在API中
很多开发者都对通过API访问ChatGPT插件感兴趣，但Sam说他认为这些插件不会很快发布。除了Brosing插件之外，其他插件的使用情况表明还没有PMF（Product/MarketFit）。他指出，很多人认为他们希望自己的应用程序位于ChatGPT之内，但他们真正想要的是ChatGPT存在于应用中。
04.除了ChatGPT，OpenAI将避免与其客户竞争
伟大的公司都有一个杀手级应用
不少开发者表示，他们对使用OpenAIAPI开发感到紧张，因为OpenAI最终可能发布对他们有竞争力的产品。Sam说，OpenAI不会在ChatGPT之外发布更多的产品。他说，历史上，伟大的平台公司有一个杀手级应用。ChatGPT将允许开发者成为自己产品的客户来改进API。ChatGPT的愿景是成为一个超级智能的工作助理，但很多其他的GPT用例，OpenAI不会涉及。
05.需要监管，但不是现在
「我对多少个人和公司有能力持有大模型表示怀疑」
虽然Sam呼吁对未来的模型进行监管，但他认为现有模型并不危险，认为监管或禁止它们是一个大错误。他再次强调了开源的重要性，并表示OpenAI正在考虑将GPT-3开源。他们还没有开源，部分原因是他对有多少个人和公司有能力持有和服务大型语言模型（LLMs）表示怀疑。
06规模定律仍然适用
几年数百万倍的扩展速度，不可能一直持续下去
最近有很多文章声称「巨型AI模型的时代已经过去」。这并不准确。（注：在4月一场在MIT的活动中，SamAltman曾经表示：我们现在已经接近巨大模型时代的尾声。）
OpenAI的内部数据表明，模型性能的规模定律仍然适用，增加模型的大小将继续提高性能。
由于OpenAI在短短几年内就将模型扩大了数百万倍，这样的扩展速度不可能持续下去。这并不意味着OpenAI不会继续尝试把模型做得更大，而是意味着，它们每年的规模可能会增加一倍或三倍，而不是增加许多数量级。
规模定律有效对AGI开发时间线有重要意义。规模定律的假设是我们可能已经具备构建AGI所需的大部分要素，并且剩下的工作，主要是将现有方法扩展到更大的模型和更大的数据集上。如果规模的时代已经过去，那么我们可能会离AGI更遥远。规模定律继续适用的事实，强烈暗示着更短的时间线。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】