OpenAI近日宣布，已在内部研究基础设施中部署名为“ControlRoom”的中央控制系统。当模型任务引发安全或网络安全风险时，该系统可在收到停止指令后最长35秒内阻断模型继续输出。
据OpenAI介绍，ControlRoom可统一追踪强化学习训练、模型评估、智能体采样及数据处理等研究任务，并与模型行为监控系统联动。监控模型会检查被训练模型的推理和操作过程，一旦发现潜在问题，可根据风险程度发出警报或直接暂停任务。
在具体执行过程中，监控系统会将需要停止的任务ID发送至ControlRoom。相关任务下一次申请模型推理时，推理引擎将核验其运行权限；如果任务已被标记为终止，系统便会拒绝请求，防止模型继续生成内容。
OpenAI表示，目前从ControlRoom收到停止指令到任务完全无法继续运行，最长需要35秒。这一时间差来自推理授权环节的缓存层，公司正在将响应时间进一步压缩，目标是实现即时停止。
该系统还采用“故障关闭”机制。如果ControlRoom发生故障、被关闭或遭到篡改，所有相关推理请求将默认被拒绝，直至服务恢复。该机制现已覆盖OpenAI全部前沿模型研究任务，并正在向其他研究任务扩展。OpenAI称，对外模型服务采用更集中的技术架构，目前已有相应的部署下线和应急处置能力。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】