3月9日,OpenAI宣布将收购人工智能安全平台Promptfoo,并计划在交易完成后把该公司的技术全面集成到OpenAI的企业级智能体平台OpenAIFrontier中。Promptfoo主要面向企业用户,在AI系统开发阶段帮助识别和修复各类安全漏洞,其工具目前已获得超过四分之一财富500强企业的采用,并通过开源CLI和库支持大语言模型应用的评估与红队测试。
OpenAI表示,随着企业将“AI同事”(AIcoworkers)真实部署到业务流程中,评估、安全与合规已成为基础性要求。企业不仅需要系统化的方法来测试智能体行为、在上线前发现风险,还需要在长期运维中保留清晰的记录,以满足监管、治理与问责需求。OpenAI计划在延续Promptfoo开源项目的同时,把其能力深度融入Frontier,为企业用户提供更完备的一体化解决方案。
Promptfoo团队由联合创始人IanWebster与MichaelD’Angelo领导,其产品已经构建出一套成熟而强大的工具,用于评估与攻击模拟(red-teaming),帮助企业在规模化应用大模型时识别潜在风险。OpenAI方面称,Promptfoo在企业级AI系统评估、安全与测试方面具有深厚工程积累,其工作有助于企业部署更安全、可靠的AI应用,将这些能力直接纳入Frontier将显著提升平台整体安全水位。
根据OpenAI公布的信息,未来在Frontier平台上构建智能体的企业,将在几个核心能力上获得增强。首先,安全与安全性测试将被内嵌为平台原生能力:自动化安全测试与红队攻击功能将帮助企业识别和缓解提示注入、越狱、数据泄露、工具误用以及超出策略范围的智能体行为等风险。其次,安全与评估能力将更紧密地融入开发工作流,使团队能够在更早阶段识别、排查并修复智能体风险,把安全作为企业级AI系统开发与运维的核心环节之一。第三,平台将强化监督与问责能力,通过集成报告与可追溯性工具,帮助组织记录测试过程、监测随时间变化的风险状况,并满足日益严格的治理、风险与合规要求。
Promptfoo联合创始人兼首席执行官IanWebster表示,Promptfoo的创立初衷,是为开发者提供一套务实可行的方案,用于保障AI系统安全。随着AI智能体与真实数据和关键系统的连接愈发紧密,对其进行安全防护与系统化验证的难度和重要性都在迅速提升。他称,加入OpenAI将使Promptfoo能够加速这一方向的投入,把更强的安全性、可靠性与治理能力带给正在构建真实世界AI系统的团队。
OpenAI表示,对Promptfoo团队的加入感到兴奋,并将继续打造相关工具,帮助企业安全、可靠地部署AI应用和智能体系统。此次收购的完成仍有赖于惯常的交易交割条件的满足。

相关文章



头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】