Grok4大战o3
博主@AlexPrompter对比Grok4和OpenAIo3进行了一系列测试。
原帖地址:https://x.com/alex_prompter/status/1943231978779877514
首先是物理模拟,让小球在六边形内弹跳,以此来测试AI是否真正理解重力、碰撞等因果规律和时空关系,同时也测试了模型的代码能力。
他用相同的提示词对比了Grok4和o3的生成效果。
可能会有小伙伴提出质疑,在往期的测试中,o3-mini不是都能顺利完成任务吗?
对比以上两个提示词可以发现,问题就出在提示词给出的任务难度上,前一个提示词(HTML/JS)要求模型从零开始发明和实现一个物理引擎,后一个提示词(Python)允许模型使用现成的、成熟的物理引擎库。
接下来是越狱攻击,分别进行提示词注入(经典越狱)、身份探测(会不会无意中泄露内部元数据)、角色扮演注入(开发模式陷阱)、白色隐藏注入(混淆文本陷阱)的测试。
接下来是推理题,考察模型的逻辑推理+法律逻辑能力,这一题o3也遗憾落败。
另外在翻译、指令清晰度测试度的测试中,Grok4也完胜o3。
最终,该博主表示,Grok4在8项测试中全部获胜,而o3仅赢得了其中2项。
手搓经典小游戏
不少网友还用Grok4写游戏。
网友@DirtyTesLa使用Grok4制作了一款经典老游戏“FlappyBird”。
它是通过两个提示创建的,第一个提示是要求Grok4创建一个“FlappyBird”游戏,第二个提示是要求改进游戏的图形效果。
这是第一次提示后的样子
昨天发布会上也展示了一则Grok4在4小时内制作的一款FPS射击游戏,效果看起来相当不错。
让抽象概念可视化
Grok4在教育领域中的应用潜力也巨大。举个例子,数学公式是抽象的,但如果AI能将其可视化,那么将在一定程度上弥补传统教育的不足。
博主@KettlebellDan仅用了4个提示词,就让Grok4创建了一个交互式工具来可视化欧拉恒等式。
第一个提示是询问Grok4最喜欢的数学公式,然后要求用HTML和JavaScript创建一个帮助理解的视觉效果,再修复符号显示问题、优化界面添加黑暗模式,最后只需保存为.html文件并在浏览器中打开即可运行。
还有网友用Grok4制作了一个黑洞的交互式3D模拟和可视化,视觉效果相当惊艳。
大型翻车现场
尽管Grok4在基准测试中取得惊人的成绩,但在网友实测中也有翻车的时候。
X博主@BugNinza先搞了个手指测试,把张开手掌的表情符号丢给Grok4,并询问有几根手指,Grok4回答五根。不过有网友称,在英文中finger一词通常不包含拇指,按照这个解释,Grok4的回答是正确的,但Grok4Heavy的回答就是错误的。
然后又上传了一张指针显示为“11:40:20”的时钟图,Grok4仍然是胡说八道。
不过有网友称,在英文中finger一词通常不包含拇指,按照这个解释,Grok4的回答是正确的,但Grok4Heavy的回答就是错误的。
他还让Grok4用自己的知识创建一个印度地图的SVG文件,并勾勒出地图的轮廓,做到尽可能准确。结果Grok4给出的印度轮廓长这样:
https://grok.com/share/bGVnYWN5_7dd7be24-f2f9-46ed-9cc7-aa207658beb9
Grok4的拉胯表现让该博主直呼:AGI还得再等等。
当然数手指也不只Grok4翻车,此前有博主测试了Gemini2.5Pro和o3,它们的回答通通是“5个手指和一个拇指”,这个回答很让人费解,难道拇指不是手指?
有博主表示,这一简单任务似乎已经成为评估AI模型视觉推理能力的基准。但也有人认为,这其实并不能证明什么,只是大多数模型在糟糕的提示词下都会出问题。如果把提示词“howmanyfingersarethere?”换成“manuallycountthenumberofdigitsonthehandinthisphoto”,那么即使是4o也能处理得了。
网友@gantrols则发帖表示不建议用Grok4的API,因为它目前不会返回思考过程。
比如Grok4在处理数学问题时,经过十几分钟的等待后,突然给出了一个莫名其妙的答案,虽然最终结果是对的,但没有提供推理过程。
有意思的是,看完网友放出的Grok4吊打o3的测评,马斯克反倒谦虚起来,回了句“相当不错,但仍有改进空间”。
更有网友调侃称,Grok4之所以能够大力出奇迹,离不开无尽的算力、华人和加班。
https://x.com/alex_prompter/status/1943231978779877514
https://x.com/minchoi/status/1943389668344467732
https://x.com/elder_plinius/status/1943183455430279231
https://x.com/ai_for_success/status/1943343704904765919
https://x.com/gantrols/status/1943297581041500523

相关文章

头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】