要点:
OpenAI宣布董事会有权否决决定，特别是对于GPT-5等前沿模型的安全风险，公司成立安全顾问团队，定期向管理层和董事会报告。
公司成立三个安全团队，分别应对当下、不久的将来和遥远的未来的AI风险，主要跟踪网络安全、CBRN风险、说服风险和模型自主性风险。
OpenAI在技术开发上设立了限制，对不同种类的AI风险要求模型安全得分达标后才能进入下一个开发阶段，发布了“前沿风险防范框架”。
站长之家（ChinaZ.com）12月20日 消息:OpenAI最近发布了一项重要公告，宣布公司董事会现在有权否决奥特曼的决定，尤其是关于GPT-5等前沿模型的安全风险。这是上月内讧的后续，总裁Greg Brockman和前首席科学家Ilya Sutskever已退出董事会，公司管理层与董事会完全分离，使得公司管理层做决策的同时董事会有权推翻决策。
在新的安全框架下，公司成立了专门的安全顾问团队，每月向管理层和董事会报告，确保决策者充分了解现有模型如ChatGPT的滥用情况。此外，公司对自己的技术开发设立了一系列限制，确保模型安全得分达标后才能进入下一个开发阶段，发布了“前沿风险防范框架”。
为了更全面地应对不同时间尺度的AI风险，OpenAI成立了三个安全团队，分别负责当下、不久的将来和遥远的未来的风险。这些团队涵盖了网络安全、CBRN风险、说服风险和模型自主性风险等四个主要安全类别。对于开发中的前沿模型，公司将跟踪并评估这四个方面的安全风险，通过“记分卡”将其分级为“低、中、高、重大危险”。
值得注意的是，公司还将进行定期的安全演习，对业务和公司自身文化进行压力测试，以及邀请第三方组成红队，对模型进行独立评估。这一系列措施旨在确保模型的安全性，并在风险评估中采取相应的缓解措施。
最后，OpenAI透露已开创一项新的研究，衡量风险如何随模型规模扩大而演变，尝试解决“未知的未知”。这表明公司对AI可能带来的灾难性风险采取了认真的态度，致力于提前预测并防范潜在的问题。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】