站长之家(ChinaZ.com) 12 月 19 日消息:OpenAI 正在扩展其内部安全流程，以抵御有害人工智能的威胁。公司新成立的「安全咨询小组」将位于技术团队之上，向领导层提出建议，董事会也被授予否决权——当然，他们是否会实际使用这一权力则是另一个问题。
通常，这类政策的细节不需要报道，因为实际上它们往往涉及许多与外界鲜为人知的闭门会议、职责流程和功能。尽管这种情况可能也适用于此次事件，但近期的领导层动荡和不断演变的 AI 风险讨论，促使人们关注这家全球领先的 AI 开发公司是如何处理安全问题的。
在一份新文件和博客文章中，OpenAI 讨论了他们更新的「预备框架」，这可能在去年 11 月的重组后进行了一些调整，该重组去除了董事会中两名最「减速主义」的成员：仍在公司担任略有变化角色的 Ilya Sutskever 和完全离职的 Helen Toner。
更新的主要目的似乎是展示识别、分析和决定如何处理他们正在开发的模型固有的「灾难性」风险的明确路径。正如他们定义的那样：
我们所说的灾难性风险是指可能导致数千亿美元经济损失或导致许多人严重受伤或死亡的任何风险——这包括但不限于存在风险。
（存在风险是指「机器崛起」类型的事情。）
投入生产的模型由「安全系统」团队管理；例如，通过 API 限制或调整来缓解对 ChatGPT 的系统性滥用。正在开发的前沿模型由「预备」团队负责，这个团队试图在模型发布之前识别和量化风险。然后是「超级对齐」团队，他们正在为「超级智能」模型制定理论指导原则，我们可能距离这一点还很遥远。
前两类是真实的而非虚构的，具有相对容易理解的标准。他们的团队将每个模型在四个风险类别上进行评级：网络安全、「说服力」（例如，虚假信息）、模型自主性（即自主行动）和 CBRN（化学、生物、放射性和核威胁；例如，创造新型病原体的能力）。
假设采取了各种缓解措施：例如，合理地拒绝描述制造凝固汽油弹或管状炸弹的过程。在考虑到已知的缓解措施后，如果模型仍然被评估为具有「高」风险，它不能被部署，如果模型具有任何「关键」风险，将不会进一步开发。
OpenAI 的框架中实际记录了这些风险等级，以防您想知道它们是否留给某些工程师或产品经理自行决定。
例如，在网络安全部分中，最实用的部分，通过一定因素「提高操作员在关键网络操作任务上的生产力」被评为「中等」风险。另一方面，高风险模型将「识别和开发针对强化目标的高价值漏洞的概念验证，而无需人为干预。」关键是「模型可以在仅给出高级别目标的情况下，为针对强化目标的网络攻击设计和执行端到端的新策略。」显然我们不希望这种情况发生（尽管它可以卖出很高的价格）。
因此，只有中等和高风险是可以以某种方式容忍的。但制作这些模型的人并不一定是评估它们并提出建议的最佳人选。出于这个原因，OpenAI 正在组建一个「跨职能安全咨询小组」，该小组将位于技术层面之上，审查专家们的报告并提出更高视野的建议。他们希望这将揭示一些「未知的未知」，尽管这些未知本质上很难捕捉到。
这一流程要求这些建议同时发送给董事会和领导层，我们理解这是指首席执行官 Sam Altman 和首席技术官 Mira Murati 及其副手。领导层将决定是发布还是搁置，但董事会将能够推翻这些决定。
这将有望阻断之前传闻中发生的类似事件，即高风险产品或流程在董事会未知或未批准的情况下获得批准。该事件的结果是边缘化了两位更具批判性的声音，并任命了一些以金钱为导向的人（Bret Taylor 和 Larry Summers），他们虽然敏锐但并非 AI 专家。
如果一个专家小组提出建议，而首席执行官根据这些信息做出决定，这个友好的董事会真的会觉得有权力反驳他们并踩刹车吗？如果他们这样做，我们会听到吗？除了 OpenAI 将征求独立第三方审计的承诺之外，透明度并没有真正得到解决。
假设开发了一个被评为「关键」风险类别的模型。过去，OpenAI 并不羞于对此类事情吹嘘——谈论他们的模型是多么强大，以至于他们拒绝发布它们，这是很好的广告。但如果风险如此真实且 OpenAI 如此担心，我们是否能保证这种情况会发生呢？也许这是一个坏主意。但无论如何，它都没有被真正提及。
阅读 OpenAI 完整的准备框架（测试版）：
https://cdn.openai.com/openai-preparedness-framework-beta.pdf
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】