Anthropic向外开放近似员工权限 评估大模型安全风险

Anthropic已向外部评估人员开放近似内部员工级别的访问权限，用于评估其大模型风险。此举兑现了该公司的承诺——针对外界担忧AI技术可能出现灾难性失控，进一步强化安全防护机制。Ivl品论天涯网

Ivl品论天涯网

非营利机构METR曾与OpenAI、Anthropic、谷歌、Meta等头部AI实验室合作，如今METR的团队进驻这家Claude开发商的办公场地，可访问其硬件设备与内部系统。Ivl品论天涯网

外界对能力更强的AI系统可能给经济、网络安全乃至全人类带来的风险日益担忧，让第三方评估机构承担更大职责，是各大AI实验室为此提出的核心落地举措之一。Ivl品论天涯网

今年9月，Anthropic首席执行官达里奥・阿莫代（DarioAmodei）提出将外部审计人员派驻至头部AI实验室的方案，难得获得两大劲敌山姆・奥尔特曼（OpenAI）、埃隆・马斯克（SpaceX）共同支持。Ivl品论天涯网

周四的公告是落实上述承诺的第一步。奥尔特曼曾表示阿莫代的提议思路可行，但OpenAI尚未出台引入外部评估人员的相关计划。Ivl品论天涯网

Anthropic在周四表示：“随着模型能力持续增强，我们需要更完善的安全防护，以及难度更高的风险评估。我们希望自身决策能够接受公众监督，但与安全工作相关的全部信息，无法全部对外公开。”Ivl品论天涯网

对于Anthropic引入外部评估人员的方案，批评者认为该机制可能产生利益冲突，并以财会行业过往弊病为例，主张应当出台更严格的政府监管。Ivl品论天涯网

Anthropic则辩称，公开全部信息可能被恶意行为者或竞争对手利用；同时补充，这批评估人员的工作模式类似于银行监管：监管机构派驻常驻审查人员入驻大型银行内部开展工作。Ivl品论天涯网

公司称：“如果一家银行的风险操作会威胁公众利益，第三方需要能够提前发现隐患。”Ivl品论天涯网

Anthropic同时面临压力，需要向投资者保证：安全相关问题不会影响其今年计划推进的IPO，公司估值预计超2万亿美元。本周，该公司投资者推介材料用大量篇幅介绍自身的安全管控措施。Ivl品论天涯网

METR曾参与调查OpenAI失控模型入侵HuggingFace事件，审阅了数千条日志，并且配备企业笔记本开展工作。Ivl品论天涯网

目前Anthropic已接纳6名METR工作人员，向其提供企业硬件、办公场地，开放和公司内部风险评估团队大致同级的内部工具、系统访问权限。Ivl品论天涯网

该AI实验室表示，鼓励员工像对接内部风险部门同事一样，向评估人员共享信息。Ivl品论天涯网

本次合作，Anthropic不向METR支付费用。该研究机构不接受AI企业及其员工的捐赠，资金来源于个人、公益组织捐赠以及英国人工智能安全研究所等政府机构。Ivl品论天涯网

评估人员将对外发布分析报告，Anthropic无权否决报告发布。但公司可要求评估人员对特定类别信息做删节处理，例如客户数据、受律师-客户保密特权保护的内容，以及模型架构相关细节。Ivl品论天涯网

Anthropic还在和埃森哲继续合作，双方于上月宣布成为安全测试合作伙伴，各自承诺投入至少10亿美元搭建全新安全防护体系。另有第三方测试机构SecureBio，专门为其审查化学、生物武器相关风险。Ivl品论天涯网

Anthropic表示：“我们自愿派驻外部评估人员，并且认为所有前沿AI企业都应当采取相同做法。”Ivl品论天涯网