TL;DR 我做了一个模型前沿仪表板，协助自己判断不同工作该选哪个模型。它不只比较排行榜分数，也计算模型完成一整个任务的平均成本。
制作过程中，我发现一件很反直觉的事：模型的 token 单价便宜，不代表完成任务的总成本比较低。如果模型需要更多步骤、读取更多数据，最后可能花得更多。以 DeepSWE 的长程任务为例，单价较低的 Sonnet 5，完成一题的平均成本反而高达 26.4 美元。
模型推出的速度越来越快，像进入一场模型寒武纪。新名称、新排行榜和新说法不断出现，很难只靠印象判断该选哪一个。于是我做了一个模型前沿仪表板，用图表整理模型的能力、成本和适用情境。
仪表板上线第二天，我盯着刚加上去的散点图，忍不住确认了一次：Sonnet 5 真的是最贵的吗？
先说明这张图怎么看：每个模型是一个点，横轴是完成一个任务的平均成本，纵轴是任务成功率。为了让「便宜又准」的模型靠近右上角，我把成本轴反向排列，越往右越便宜、越往左越贵。Claude Sonnet 5 落在整张图最左侧，和其他模型明显拉开距离：平均每题 26.4 美元，是所有设置中最贵的一个。
它明明是 Claude 家单价最便宜的型号，每百万 token 只要 2 美元。我以为图画错了。
答案在官方数据文件的另外两个字段里。在这组长程编程任务中，Sonnet 5 平均需要进行 268 个操作步骤；步骤越多，代表它需要反覆读取代码、调用工具、修改答案，最后累积出庞大的 token 用量。更反直觉的是，有些 token 单价比它高很多的模型，完成一题的总成本反而更低。
那一刻我确定这个工具做对了方向。因为这种事，排行榜不会告诉你。
这篇整理我制作仪表板时遇到的三个问题：为什么不能只看排行榜？为什么单价便宜，最后反而可能更贵？又该怎么建立一套不容易过期的选模型方法？
排行榜为什么不能直接告诉你选哪个？
先讲排行榜是什么。模型排行榜通常会准备一组标准题目，让不同模型完成，再比较答对率或任务成功率。问题是，每张排行榜测量的题型、工具环境和时间长度都不同。模型在某张榜上第一，只代表它特别擅长那组测试，不代表它适合所有工作。
排行榜的第一个限制，是不同测试可能出现不同冠军。SWE-bench 主要测试模型能不能处理真实软件项目中的编程问题；DeepSWE 则更重视模型能否长时间自主操作，反覆阅读代码、调用工具、修改并验证结果。前者由 Claude Fable 5 领先（约 95%），后者则是 GPT-5.6 家族表现较好。两张榜并没有互相矛盾，它们只是问了不同的问题。
第二个限制，是榜首之间的小幅差距，不一定代表真实能力有明显差异。DeepSWE 前三名是 72.7%、69.9% 和 69.6%。表面上第一名高了两三个百分点，但测试题目只有 113 题，重跑一次结果可能略有波动。三者的 95% 置信区间彼此重叠，因此单靠这份结果，还不足以确认它们的真实能力有明显差异。把「高两个百分点」读成「比较强」，是排行榜文化最常见的误读。
当能力差距无法明确区分时，成本就会成为最重要的判断因素之一。对大量执行的 Agent 工作流来说，几美元的单题差距，累积后可能就是一笔很大的费用。在 GPT-5.6 家族的三个模型中，Sol 每题 8.39 美元、Terra 4.95 美元、Luna 3.03 美元：它们的成功率落在接近的范围内，成本却最多相差近三倍。
AI Agent 真正该看的是每任务成本
我们习惯看单价：每百万 token 多少钱。这在聊天、翻译或一次问完就结束的任务里，通常还算合理，因为 token 用量大致固定。但 Agent 任务不一样：模型自己决定要走几步、读多少东西。单价便宜的模型，如果规划效率较差，或需要更多次尝试与修正，就可能用掉更多步骤和 token，最后把单价上的优势全部抵销。
所以对 AI Agent 而言，真正该看的不是一次调用多少钱，而是同时看三件事：任务完成率、完成一次需要多少步，以及整个过程累积的 token 与工具成本。这不是一条严格的数学公式，但足以当判断框架。
回到 Sonnet 5。它的单价虽然低，但在这组测试中平均需要 268 个步骤；同样开到最高设置的 Fable 5，只需要 88 步。更多步骤代表更多代码读取、工具调用和反覆修改。每进行一步，模型还可能重新读取先前的上下文，因此 token 用量会持续累积。
按官方数据计算，Sonnet 5 平均每题累计使用七千多万个输入 token。这是把整个任务中所有步骤重复读取的内容都加总后的平均值。最后，它的每题成本来到 26.4 美元，成功率为 53.8%。
Fable 5 low 每题只需 3.76 美元，成功率为 59.6%；Opus 4.8 max 的成功率为 59.0%，每题却要 13.22 美元。两者成绩落在相近范围，前者的成本不到后者三分之一。
表格也列出 Fable 5 max，让同一模型在不同 effort 设置下的变化可以直接比较。
| 模型设置 | 成功率 | 每题成本 | 平均步数 |
|---|---|---|---|
| Sonnet 5 max | 53.8% | $26.40 | 268 |
| Fable 5 max | 69.7% | $21.63 | 88 |
| Fable 5 low | 59.6% | $3.76 | 38 |
| Opus 4.8 max | 59.0% | $13.22 | 120 |
（数据：DeepSWE v1.1 官方公开数据文件，113 题，2026-07-09）
在这组测试里，Sonnet 5 的 token 定价较低，但因为完成任务需要更多步骤，总成本反而最高。token 单价是每次使用材料的价格，任务成本是整件工作做完的总账。 仪表板那张图的横轴用「每任务成本」而不是单价，就是为了让这个总账一眼可见。
一张成本 × 能力的选择地图
把排行榜分数和每任务成本放在一起，才会形成真正能用来选择模型的地图。仪表板第一区整理五种常见情境：日常工作、复杂推理、编程开发、大量执行和预算不限。每一格提供一个当期首选，以及推荐它的理由。
再往下是那张散点图。六个主力模型各有一条「effort 曲线」。effort 可以理解成模型愿意投入多少运算与推理资源。图上把同一模型从低到高五个设置的成本和分数连起来；曲线越平，代表降低 effort、节省成本时，表现下降得越少。
图上的金线是「效率前沿」。你可以把它理解成目前最值得考虑的选项：线上的每一个点，都没有另一个选项能同时做到「分数更高」又「价格更低」。不在线上的模型不一定不好，只是从这份数据看，已经存在更准、或更便宜，甚至两者兼具的替代方案。这一轮，整条前沿十三个点全部落在 GPT-5.6 家族的各档位上：这不表示 GPT-5.6 在每个单项都拿第一，但在这次测试里，它提供了最完整的能力与成本组合。
完整的十三个模型清单如下，数字与实时仪表板同步：
图表载入中。如未显示，实时互动版在 /ai/models/。
| 模型 | 厂商 | Effort | 成功率 | 每题成本 | 效率前沿 |
|---|---|---|---|---|---|
| gpt-5.6-sol | GPT（OpenAI） | max | 72.7% | $8.39 | ◆ |
| claude-fable-5 | Claude（Anthropic） | xhigh | 69.9% | $13.41 | |
| gpt-5.6-terra | GPT（OpenAI） | max | 69.6% | $4.95 | |
| gpt-5.6-luna | GPT（OpenAI） | max | 67.2% | $3.03 | ◆ |
| gpt-5.5 | GPT（OpenAI） | xhigh | 67.0% | $7.23 | |
| claude-opus-4.8 | Claude（Anthropic） | max | 59.0% | $13.22 | |
| claude-sonnet-5 | Claude（Anthropic） | max | 53.8% | $26.40 | |
| gpt-5.4 | GPT（OpenAI） | xhigh | 51.8% | $5.65 | |
| glm-5.2 | GLM（智谱） | max | 43.8% | $3.92 | |
| gemini-3.5-flash | Gemini（Google） | medium | 37.4% | $7.34 | |
| kimi-k2.7-code | Kimi（月之暗面） | 默认 | 30.5% | $2.82 | |
| claude-sonnet-4.6 | Claude（Anthropic） | high | 29.9% | $5.52 | |
| gemini-3.1-pro | Gemini（Google） | high | 11.8% | $9.48 |
（来源：DeepSWE v1.1，113 题，2026-07-09 更新。数字会随每周更新变动，实时版本请看 https://paulkuo.tw/ai/models/。）
延伸数据：同一个仪表板另外追踪「泛化能力」，测的是模型能不能在没看过的抽象规则上现场推理，而不是背过的相似题型，跟上面的编程成本是不同维度，附图供对照。
图表载入中。如未显示，实时互动版在 /ai/models/。
（来源：ARC Prize，arcprize.org/leaderboard，查证于 2026-07-12。这张榜的模型清单跟上面不完全一样，是厂商自愿送测的结果：Claude Fable 5、Claude Sonnet 5、Kimi K2.7 Code、xAI Grok 4.5 目前都还没有官方成绩。实时版本请看 https://paulkuo.tw/ai/models/。）
排行榜上的数字可信吗？
做这种工具，真正困难的部分不是画图，而是数据。有三种风险必须在设计里处理：清单可能漏掉新模型、AI 可能在读不到动态数据时产生看似合理但错误的结果、今天正确的数字下周可能已经过期。
第一种风险是漏掉整个模型。清单靠人工挑选，最大的问题不是数字写错，而是新发布的模型根本没被列进来；数字错误容易被发现，模型缺席却是隐形的。所以页面上明确标示「清单并非穷举」，每周更新流程也固定包含一道检查：主动搜索最近发布、但尚未纳入的新模型。
第二种风险是读错来源。我追查数据出处时发现，DeepSWE 官网是动态加载的网页，原始 HTML 里一个数字都没有。我使用的 AI 摘要流程读不到这些动态数字，却仍产生了一张看似完整的表格：字段和格式都合理，部分数字却是错的。后来我们用浏览器查看网页实际从哪里取得数据，找到了网站背后的数据来源（也就是 API endpoint）：一份官方公开数据文件，包含 41 组「模型 × 设置」的完整数据，带 95% 置信区间。从那天起，整条更新管线不再读屏幕上的文字，改成直接读取原始数据。Sonnet 5 那个 268 步的发现，就是一手数据才挖得出来的；一般二手转述通常只留下分数，却不会告诉你模型用了多少步骤，又是怎么把成本累积起来的。
第三种风险最简单也最难：这些数字，下周还会是对的吗？
自动更新不能没有 guardrails
仪表板的数据每周一由 AI 排程自动抓最新榜单更新。但自动更新后不会直接发布，而是先通过一组部署前的自动检查，也就是 Agent 工作流里说的 guardrails。这份仪表板目前有六道：
- 数据文件语法：更新把数据文件改坏了，拦。
- 措辞诚实：不能把自行计算或整理后的结论直接包装成「官方结论」，也不能宣称经过「人工校核」却没有真的执行；出现这类超出证据的文字，就拦。
- 历史防篡改：已发布的历史记录不能在自动更新中被改写；只要内容与上周版本不同，就停止部署，交由人工确认。
- 四语一致：四个语言版本的数字不一致，拦。
- 图表版面：数据更新让散点图的标签压到线、互相重叠或跑出边界，拦。
- 行文质量：如果更新内容出现制式 AI 句型、异常标点或不符合网站语气的文字，拦。
其中我最在意的是第三道。自动更新最大的风险是改写历史：一个每周重写自己的系统，如果连「上周推荐了什么、为什么」都保不住，它给的建议就无从稽核。
我在另一篇文章把这个做法整理成一句话：工作方法会过期，判断标准会累积。工具、模型和更新流程都会变，但每次出错后留下的检查标准，可以继续累积。上面六道检查，都是由真实问题逼出来的。这条思路的完整版在〈把难度当常数〉和〈Harness 会过期，Criteria 会复利〉。
名次不能代替任务判断
排行榜可以帮我们缩小选择，但它无法替我们回答最后一个问题：这个模型是否适合我的任务？
对 AI Agent 来说，模型选择至少要同时看四件事：它能不能完成、需要走多少步、完成一次要花多少钱，以及失败后要付出多少修正成本。所以仪表板的最后一区放了四个可以复制的问题模板，让你粘贴到自己惯用的 AI 里，带着自己的任务、预算、错误容忍度再比一次。最后那一步判断，工具不该替你做，我也不该。
工具在这里：https://paulkuo.tw/ai/models/，每周一自动更新，有四种语言；更多人机协作的讨论在智能与秩序这个主题里。
下次有人告诉你哪个模型最强，可以再追问：它在哪一种任务上最强？把我的工作做完，又要花多少钱？
💬 留言讨论
加载中...