在"12DaysofOpenAI"活动的最后一天,OpenAI今天宣布即将推出o3系列推理模型。与现有的o1系列类似,o3系列将包括o3和o3mini模型。OpenAI还分享了o3型号的一些基准数据。
o3在ARC-AGI半私密评估中的得分突破了75.7%。采用高计算配置的o3在半私密评估中获得了87.5%的分数。
在EpochAI前沿数学基准测试中,o3解决了25.2%的问题,而现有模型只解决了2%。
在SWE-BenchVerified测试中,o3获得了71.7分,比o1高出22.8分。
在Codeforces上,o3的Elo评分为2727。
在AIME2024中,o3获得了96.7%的分数。相比之下,o1的得分是83.3。
在GPQADiamond中,o3得分为87.7%。相比之下,o1的得分为78%。
ARC奖团队就OpenAI的新o3模型评价如下:
OpenAI的新o3模型代表了人工智能适应新任务能力的重大飞跃。这不仅仅是渐进式的改进,而是真正的突破,标志着人工智能的能力与之前的LLM限制相比发生了质的转变。o3是一个能够适应从未遇到过的任务的系统,可以说在ARC-AGI领域接近人类水平。
o3Mini模型将为用户提供在三个推理级别之间进行选择的选项:高、中、低三个推理级别。低级别速度最快,但准确度较低,而高级别速度最慢,但准确度较高。
近来推理一词已成为人工智能行业的常用流行语,但它基本上是指机器将指令分解成更小的任务,从而产生更强的结果。这些模型通常会展示它是如何得出答案的,而不是不加解释地给出最终答案。该公司还宣布了关于慎重调整的新研究,这要求人工智能模型逐步处理安全决策。因此,这种模式要求人工智能模型主动推理用户的请求是否符合OpenAI的安全策略,而不是简单地给出"是/否"规则。该公司声称,在对o1进行测试时,它在遵守安全准则方面比以前的模型(包括GPT-4)要好得多。
OpenAI尚未发布o3模型。不过,从今天开始,它已开始共享o3模型,用于安全测试。有兴趣的安全和安保研究人员也可以申请在公开发布之前使用o3模型。o3模型预计将于2025年向公众开放。
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】