TL;DR 我做了一個模型前沿儀表板，協助自己判斷不同工作該選哪個模型。它不只比較排行榜分數，也計算模型完成一整個任務的平均成本。
製作過程中，我發現一件很反直覺的事：模型的 token 單價便宜，不代表完成任務的總成本比較低。如果模型需要更多步驟、讀取更多資料，最後可能花得更多。以 DeepSWE 的長程任務為例，單價較低的 Sonnet 5，完成一題的平均成本反而高達 26.4 美元。
模型推出的速度越來越快，像進入一場模型寒武紀。新名稱、新排行榜和新說法不斷出現，很難只靠印象判斷該選哪一個。於是我做了一個模型前沿儀表板，用圖表整理模型的能力、成本和適用情境。
儀表板上線第二天，我盯著剛加上去的散點圖，忍不住確認了一次：Sonnet 5 真的是最貴的嗎？
先說明這張圖怎麼看：每個模型是一個點，橫軸是完成一個任務的平均成本，縱軸是任務成功率。為了讓「便宜又準」的模型靠近右上角，我把成本軸反向排列，越往右越便宜、越往左越貴。Claude Sonnet 5 落在整張圖最左側，和其他模型明顯拉開距離：平均每題 26.4 美元，是所有設定中最貴的一個。
它明明是 Claude 家單價最便宜的型號，每百萬 token 只要 2 美元。我以為圖畫錯了。
答案在官方資料檔的另外兩個欄位裡。在這組長程程式任務中，Sonnet 5 平均需要進行 268 個操作步驟；步驟越多，代表它需要反覆讀取程式碼、呼叫工具、修改答案，最後累積出龐大的 token 用量。更反直覺的是，有些 token 單價比它高很多的模型，完成一題的總成本反而更低。
那一刻我確定這個工具做對了方向。因為這種事，排行榜不會告訴你。
這篇整理我製作儀表板時遇到的三個問題：為什麼不能只看排行榜？為什麼單價便宜，最後反而可能更貴？又該怎麼建立一套不容易過期的選模型方法？
排行榜為什麼不能直接告訴你選哪個？
先講排行榜是什麼。模型排行榜通常會準備一組標準題目，讓不同模型完成，再比較答對率或任務成功率。問題是，每張排行榜測量的題型、工具環境和時間長度都不同。模型在某張榜上第一，只代表它特別擅長那組測試，不代表它適合所有工作。
排行榜的第一個限制，是不同測試可能出現不同冠軍。SWE-bench 主要測試模型能不能處理真實軟體專案中的程式問題；DeepSWE 則更重視模型能否長時間自主操作，反覆閱讀程式、呼叫工具、修改並驗證結果。前者由 Claude Fable 5 領先（約 95%），後者則是 GPT-5.6 家族表現較好。兩張榜並沒有互相矛盾，它們只是問了不同的問題。
第二個限制，是榜首之間的小幅差距，不一定代表真實能力有明顯差異。DeepSWE 前三名是 72.7%、69.9% 和 69.6%。表面上第一名高了兩三個百分點，但測試題目只有 113 題，重跑一次結果可能略有波動。三者的 95% 信賴區間彼此重疊，因此單靠這份結果，還不足以確認它們的真實能力有明顯差異。把「高兩趴」讀成「比較強」，是排行榜文化最常見的誤讀。
當能力差距無法明確區分時，成本就會成為最重要的判斷因素之一。對大量執行的 Agent 工作流來說，幾美元的單題差距，累積後可能就是一筆很大的費用。在 GPT-5.6 家族的三個模型中，Sol 每題 8.39 美元、Terra 4.95 美元、Luna 3.03 美元：它們的成功率落在接近的範圍內，成本卻最多相差近三倍。
AI Agent 真正該看的是每任務成本
我們習慣看單價：每百萬 token 多少錢。這在聊天、翻譯或一次問完就結束的任務裡，通常還算合理，因為 token 用量大致固定。但 Agent 任務不一樣：模型自己決定要走幾步、讀多少東西。單價便宜的模型，如果規劃效率較差，或需要更多次嘗試與修正，就可能用掉更多步驟和 token，最後把單價上的優勢全部抵銷。
所以對 AI Agent 而言，真正該看的不是一次呼叫多少錢，而是同時看三件事：任務完成率、完成一次需要多少步，以及整個過程累積的 token 與工具成本。這不是一條嚴格的數學公式，但足以當判斷框架。
回到 Sonnet 5。它的單價雖然低，但在這組測試中平均需要 268 個步驟；同樣開到最高設定的 Fable 5，只需要 88 步。更多步驟代表更多程式碼讀取、工具呼叫和反覆修改。每進行一步，模型還可能重新讀取先前的上下文，因此 token 用量會持續累積。
按官方資料計算，Sonnet 5 平均每題累計使用七千多萬個輸入 token。這是把整個任務中所有步驟重複讀取的內容都加總後的平均值。最後，它的每題成本來到 26.4 美元，成功率為 53.8%。
Fable 5 low 每題只需 3.76 美元，成功率為 59.6%；Opus 4.8 max 的成功率為 59.0%，每題卻要 13.22 美元。兩者成績落在相近範圍，前者的成本不到後者三分之一。
表格也列出 Fable 5 max，讓同一模型在不同 effort 設定下的變化可以直接比較。
| 模型設定 | 成功率 | 每題成本 | 平均步數 |
|---|---|---|---|
| Sonnet 5 max | 53.8% | $26.40 | 268 |
| Fable 5 max | 69.7% | $21.63 | 88 |
| Fable 5 low | 59.6% | $3.76 | 38 |
| Opus 4.8 max | 59.0% | $13.22 | 120 |
（資料：DeepSWE v1.1 官方公開資料檔，113 題，2026-07-09）
在這組測試裡，Sonnet 5 的 token 定價較低，但因為完成任務需要更多步驟，總成本反而最高。token 單價是每次使用材料的價格，任務成本是整件工作做完的總帳。 儀表板那張圖的橫軸用「每任務成本」而不是單價，就是為了讓這個總帳一眼可見。
一張成本 × 能力的選擇地圖
把排行榜分數和每任務成本放在一起，才會形成真正能用來選擇模型的地圖。儀表板第一區整理五種常見情境：日常工作、複雜推理、程式開發、大量執行和預算不限。每一格提供一個當期首選，以及推薦它的理由。
再往下是那張散點圖。六個主力模型各有一條「effort 曲線」。effort 可以理解成模型願意投入多少運算與推理資源。圖上把同一模型從低到高五個設定的成本和分數連起來；曲線越平，代表降低 effort、節省成本時，表現下降得越少。
圖上的金線是「效率前緣」。你可以把它理解成目前最值得考慮的選項：線上的每一個點，都沒有另一個選項能同時做到「分數更高」又「價格更低」。不在線上的模型不一定不好，只是從這份資料看，已經存在更準、或更便宜，甚至兩者兼具的替代方案。這一輪，整條前緣十三個點全部落在 GPT-5.6 家族的各檔位上：這不表示 GPT-5.6 在每個單項都拿第一，但在這次測試裡，它提供了最完整的能力與成本組合。
完整的十三個模型清單如下，數字與即時儀表板同步：
圖表載入中。如未顯示，即時互動版在 /ai/models/。
| 模型 | 廠商 | Effort | 成功率 | 每題成本 | 效率前緣 |
|---|---|---|---|---|---|
| gpt-5.6-sol | GPT（OpenAI） | max | 72.7% | $8.39 | ◆ |
| claude-fable-5 | Claude（Anthropic） | xhigh | 69.9% | $13.41 | |
| gpt-5.6-terra | GPT（OpenAI） | max | 69.6% | $4.95 | |
| gpt-5.6-luna | GPT（OpenAI） | max | 67.2% | $3.03 | ◆ |
| gpt-5.5 | GPT（OpenAI） | xhigh | 67.0% | $7.23 | |
| claude-opus-4.8 | Claude（Anthropic） | max | 59.0% | $13.22 | |
| claude-sonnet-5 | Claude（Anthropic） | max | 53.8% | $26.40 | |
| gpt-5.4 | GPT（OpenAI） | xhigh | 51.8% | $5.65 | |
| glm-5.2 | GLM（智譜） | max | 43.8% | $3.92 | |
| gemini-3.5-flash | Gemini（Google） | medium | 37.4% | $7.34 | |
| kimi-k2.7-code | Kimi（月之暗面） | 預設 | 30.5% | $2.82 | |
| claude-sonnet-4.6 | Claude（Anthropic） | high | 29.9% | $5.52 | |
| gemini-3.1-pro | Gemini（Google） | high | 11.8% | $9.48 |
（來源：DeepSWE v1.1，113 題，2026-07-09 更新。數字會隨每週更新變動，即時版本請看 https://paulkuo.tw/ai/models/。）
延伸資料：同一個儀表板另外追蹤「泛化能力」，測的是模型能不能在沒看過的抽象規則上現場推理，而不是背過的相似題型，跟上面的程式開發成本是不同維度，附圖供對照。
圖表載入中。如未顯示，即時互動版在 /ai/models/。
（來源：ARC Prize，arcprize.org/leaderboard，查證於 2026-07-12。這張榜的模型清單跟上面不完全一樣，是廠商自願送測的結果：Claude Fable 5、Claude Sonnet 5、Kimi K2.7 Code、xAI Grok 4.5 目前都還沒有官方成績。即時版本請看 https://paulkuo.tw/ai/models/。）
排行榜上的數字可信嗎？
做這種工具，真正困難的部分不是畫圖，而是資料。有三種風險必須在設計裡處理：清單可能漏掉新模型、AI 可能在讀不到動態資料時產生看似合理但錯誤的結果、今天正確的數字下週可能已經過期。
第一種風險是漏掉整個模型。清單靠人工挑選，最大的問題不是數字寫錯，而是新發布的模型根本沒被列進來；數字錯誤容易被發現，模型缺席卻是隱形的。所以頁面上明確標示「清單並非窮舉」，每週更新流程也固定包含一道檢查：主動搜尋最近發布、但尚未納入的新模型。
第二種風險是讀錯來源。我追查資料出處時發現，DeepSWE 官網是動態載入的網頁，原始 HTML 裡一個數字都沒有。我使用的 AI 摘要流程讀不到這些動態數字，卻仍產生了一張看似完整的表格：欄位和格式都合理，部分數字卻是錯的。後來我們用瀏覽器查看網頁實際從哪裡取得資料，找到了網站背後的資料來源（也就是 API endpoint）：一份官方公開資料檔，包含 41 組「模型 × 設定」的完整資料，帶 95% 信賴區間。從那天起，整條更新管線不再讀畫面上的文字，改成直接讀取原始資料。Sonnet 5 那個 268 步的發現，就是一手資料才挖得出來的；一般二手轉述通常只留下分數，卻不會告訴你模型用了多少步驟，又是怎麼把成本累積起來的。
第三種風險最簡單也最難：這些數字，下週還會是對的嗎？
自動更新不能沒有 guardrails
儀表板的資料每週一由 AI 排程自動抓最新榜單更新。但自動更新後不會直接發布，而是先通過一組部署前的自動檢查，也就是 Agent 工作流裡說的 guardrails。這份儀表板目前有六道：
- 資料檔語法：更新把資料檔改壞了，擋。
- 措辭誠實：不能把自行計算或整理後的結論直接包裝成「官方結論」，也不能宣稱經過「人工校核」卻沒有真的執行；出現這類超出證據的文字，就擋。
- 歷史防竄改：已發布的歷史紀錄不能在自動更新中被改寫；只要內容與上週版本不同，就停止部署，交由人工確認。
- 四語一致：四個語言版本的數字不一致，擋。
- 圖表版面：數據更新讓散點圖的標籤壓到線、互相重疊或跑出邊界，擋。
- 行文品質：如果更新內容出現制式 AI 句型、異常標點或不符合網站語氣的文字，擋。
其中我最在意的是第三道。自動更新最大的風險是改寫歷史：一個每週重寫自己的系統，如果連「上週推薦了什麼、為什麼」都保不住，它給的建議就無從稽核。
我在另一篇文章把這個做法整理成一句話：工作方法會過期，判斷標準會累積。工具、模型和更新流程都會變，但每次出錯後留下的檢查標準，可以繼續累積。上面六道檢查，都是由真實問題逼出來的。這條思路的完整版在〈把難度當常數〉和〈Harness 會過期，Criteria 會複利〉。
名次不能代替任務判斷
排行榜可以幫我們縮小選擇，但它無法替我們回答最後一個問題：這個模型是否適合我的任務？
對 AI Agent 來說，模型選擇至少要同時看四件事：它能不能完成、需要走多少步、完成一次要花多少錢，以及失敗後要付出多少修正成本。所以儀表板的最後一區放了四個可以複製的問題模板，讓你貼到自己慣用的 AI 裡，帶著自己的任務、預算、錯誤容忍度再比一次。最後那一步判斷，工具不該替你做，我也不該。
工具在這裡：https://paulkuo.tw/ai/models/，每週一自動更新，有四種語言；更多人機協作的討論在智能與秩序這個主題裡。
下次有人告訴你哪個模型最強，可以再追問：它在哪一種任務上最強？把我的工作做完，又要花多少錢？
💬 留言討論
載入中...