Gemini 4 Argon打穿AGI终极考场 - 盲注级别

谷歌终于攻克了这道最棘手的难关。

就在刚才，ARC Prize官方在X上公布了一份成绩单：

Gemini 4 Argon在被称为「AGI终极考场」的ARC-AGI-3上，取得了97.5%的成绩！

要知道，仅仅七个月前，ARC-AGI-3刚推出时，所有前沿模型的得分都不到1%。

七个月时间，从集体交白卷到接近满分。

ARC Prize在公告中特别提到：Google DeepMind是第二家在ARC-AGI-3上突破95%的AI实验室。

第一家，是OpenAI。

谷歌重新回到了赛场。

三代考题，全部通关

Gemini 4 Argon的成绩单相当亮眼。

• ARC-AGI-1：98.5%，每题成本0.16美元
• ARC-AGI-2：91.3%，每题成本0.32美元
• ARC-AGI-3：97.5%，整套测试花费4800美元

三代考题，无一失手。

放到排行榜上看，这个97.5%的成绩仅次于OpenAI的GPT-6 Astra（99.9%），超过了OpenAI 9月底提交的GPT-6.1 Sol（96.37%）。

这意味着，谷歌仅凭一个模型就跻身了这一俱乐部。

9月30日Argon发布时，谷歌博客重点介绍的是复杂工作流、编码和网络安全，输出Token上限直接提升到100万，满篇都是软件工程和Vals Index的成果，唯独没提ARC-AGI。

这次接近满分的成绩出来后，谷歌也没有公开发表任何言论。

看到97.5%，有人可能觉得这又是一次刷榜行为。

但这次情况完全不同。

ARC-AGI-3并非传统的选择题或填空题式的AI基准测试。它是一套交互式游戏环境——没有说明书，没有预设指令，也没有人告诉模型这一关的目标是什么。

模型被放入一个完全陌生的小游戏中，面对64×64的彩色格子，7个动作按钮，连这些按钮的功能都不告知。

你只能自己去尝试、猜测规则、发现目标、规划通关路径。

这考验的是模型应对从未见过的事物、即时学习的能力。

这种能力人类天生具备。随便找一个没玩过游戏的普通人，扔进去摸索一会儿，大概率都能通关。

但对AI来说，这恰恰是最棘手的。没有现成的数据可背，没有固定套路可循，所有知识都必须在「玩」的过程中临时构建。

七个月，考场被突破

回顾时间线，才能体会到这件事的速度有多惊人。

3月下旬，ARC-AGI-3上线，所有前沿模型得分不到1%。

9月2日，OpenAI的GPT-6 Astra率先突破，在Provider Adapter设置下达到99.9%以上，接近满分，成为第一家突破95%的实验室。Greg Brockman在发布会上直接喊出了那句话：「欢迎来到AGI时代。」

9月29日，OpenAI又推出GPT-6.1 Sol，得分96.37%。一个月内，OpenAI两个模型先后站上95%以上。

9月30日，谷歌发布Gemini 4 Argon。

10月16日，ARC Prize官方公布Argon验证成绩，97.5%。

更能说明问题的是效率数据。

在25个ARC-AGI-3公开游戏中，Argon通关所需的行动次数比人类基线少了62%。其中3个游戏，它追平甚至超过了speedrun纪录——也就是速通玩家刷出的极限成绩；另外6个，与纪录的差距不到10%。

也就是说，AI不仅学会了玩一款陌生的游戏，还玩得比大多数人熟练，有几关已经接近顶尖速通玩家的水平。

ARC Prize联合创始人Mike Knoop评价说，Argon是第二个通过Provider Adapter「有效最大化」ARC-AGI-3的模型家族，还提到行动效率出现了「反向弯曲」——效率提升的速度比预期更快。

成绩单里的一行小字

不过，这份成绩单后面还藏着一行不起眼的数字。

ARC Prize的推文中，两种设置的分数并排写在一起：

97.5%，4800美元（Provider Adapter harness） 49.8%，5800美元（Standard harness）

同一个模型，同一套考题，一个97.5%，一个49.8%。

相差的这将近48个百分点，全部取决于一个叫「harness」的东西。

harness是什么？可以理解为给模型配备的操作台。在交互式游戏中，模型每走一步都要接收环境反馈，再决定下一步。反馈如何输入、动作如何输出、之前尝试过的路径如何记录，都归这套操作台管理。

Provider Adapter是厂商为自家模型量身定制的接入方式；Standard harness是考官给所有参赛模型统一发放的那一套。

一个更反直觉的事实是：标准harness花费的钱更多——5800美元，比97.5%那档还贵了1000美元。多花了20%的成本，分数却只有一半出头。

细看标准harness的数据，低推理档49.8%（55个游戏中完成42个），中推理档46.3%（完成46个），高推理档因API问题只跑完19个，连分数都没好意思公布。

中档多完成了4个游戏，总分反而低了3.5个百分点。思考时间更长，并未带来更高分数。

这不是Argon一家的情况。榜首GPT-6 Astra那个99.9%的成绩，同样是在Provider Adapter下取得的；换成标准harness，Astra也只拿到62.7%。

尺子快不够用了

再看另一位选手。Anthropic的Claude系列在ARC-AGI-1和ARC-AGI-2上得分都很高，到了ARC-AGI-3，要么得分偏低，要么干脆没测试。

外界习惯把OpenAI和Anthropic视为双雄争霸，但至少在这块考场上，眼下是OpenAI和谷歌两家的地盘。

但真正值得关注的，已经不只是谁的分数更高。

一个号称「AGI终极考场」的基准测试，上线时让所有前沿模型集体交白卷，七个月后就被两家巨头做到接近满分——

衡量智能的尺子，被追上的速度一次比一次快。

而那条49.8%的分数线又在提醒所有人：今天拿来比较的，早已不是模型本身的裸智能，而是模型+harness的整套系统。谁会搭操作台，谁就能多拿将近一半的分数。

所以，以后看AI榜单，别只看分数，括号里写的是哪种harness，跟分数本身同样重要。

参考资料：

https://x.com/arcprize/status/2110768288523251762

本文来自微信公众号“新智元”，作者：ASI启示录，编辑：所罗门，36氪经授权发布。在闲暇时，他也喜欢参加德州扑克锦标赛来放松思维。