私はもう「最強のAIモデルはどれか」と問わない

TL;DR 私は、異なる作業にどのモデルを使うべきかを判断するためのモデル・フロンティア・ダッシュボードを作った。ランキングのスコアを比べるだけでなく、モデルが1タスクを完了するまでの平均コストも計算している。

制作の過程で、非常に反直感的なことを発見した。モデルのトークン単価が安くても、タスクの総コストが低いとは限らない。より多くのステップを必要とし、より多くのデータを読み込むなら、最終的な費用はむしろ高くなりうる。DeepSWE の長期タスクを例にとると、単価の低い Sonnet 5 は1問あたりの平均コストが実に26.4ドルに達する。

モデルのリリース速度は加速し続けており、まるでモデルのカンブリア爆発に突入したかのようだ。新しい名称、新しいランキング、新しい言説が次々と現れ、印象だけで選択を判断するのはもはや難しい。そこで私はモデル・フロンティア・ダッシュボードを作り、モデルの能力・コスト・適用場面をグラフで整理した。

ダッシュボードが公開された翌日、私は追加したばかりの散布図を眺めながら、思わず確認した。Sonnet 5 が本当に最もコスト高になるのか？

まず、このグラフの読み方を説明しておく。各モデルは1点で表され、横軸がタスクあたりの平均コスト、縦軸がタスク成功率だ。「安くて正確」なモデルが右上に来るよう、コスト軸は逆順にしてある。右に行くほど安く、左に行くほど高い。Claude Sonnet 5 はグラフの最も左側に、他のモデルから明らかに離れた位置に落ちた。平均1問26.4ドル、全設定中で最も高コストだ。

単価は Claude ファミリーで最も安く、100万トークンあたりわずか2ドルのはずだ。グラフが間違っていると思った。

答えは公式データファイルの別の二つのフィールドにあった。この長期的なプログラミングタスクにおいて、Sonnet 5 は平均268操作ステップを必要とする。ステップが増えるほど、コードの読み返し、ツール呼び出し、回答の修正が繰り返され、最終的に膨大なトークン消費量が積み上がる。さらに反直感的なのは、単価がずっと高いモデルの中にも、1タスクあたりの総コストが低いものがあるということだ。

その瞬間、私はこのツールが正しい方向を向いていると確信した。こういうことは、ランキングが教えてくれないからだ。

この記事では、ダッシュボード制作で直面した三つの問いを整理する。なぜランキングだけ見ていてはいけないのか。なぜ単価が安くても最終的に高くつくのか。そして、劣化しにくいモデル選択の方法はどう構築するのか。

なぜランキングが「どれを選ぶべきか」を直接教えてくれないのか

まず、ランキングとは何かを整理しておく。モデルのランキングは通常、標準的な問題を用意して複数のモデルに解かせ、正答率やタスク成功率を比較する。問題は、ランキングごとに問題の種類・ツール環境・作業時間の長さが異なることだ。あるランキングで1位だということは、そのテスト群が特に得意だということを意味するにすぎず、すべての作業に適しているとは言えない。

ランキングの第一の限界は、テストが異なれば首位が異なることだ。SWE-bench は主に実際のソフトウェアプロジェクトにおけるプログラミング問題を処理できるかを測っており、Claude Fable 5 が首位（約95%）。DeepSWE はモデルが長時間にわたって自律的に操作し、コードを繰り返し読み、ツールを呼び出し、修正と検証を続けられるかをより重視しており、こちらは GPT-5.6 ファミリーが優勢だ。この二つは矛盾しているわけではない。単に異なる問いを立てているだけだ。

第二の限界は、首位グループ間の小さなスコア差が、実際の能力の明確な差を意味するとは限らないことだ。DeepSWE のトップ3は72.7%・69.9%・69.6%。表面上は首位が2〜3ポイント高く見えるが、テスト問題は113問しかなく、再実行すれば結果がわずかに変動しうる。三者の95%信頼区間は互いに重なり合っており、この結果だけでは実際の能力に明確な差があるとは確認できない。「2ポイント高い」を「より強い」と読むのは、ランキング文化で最も多い誤読だ。

能力の差が明確に区別できないとき、コストが最も重要な判断軸の一つになる。大量実行される Agent ワークフローにとって、数ドルの1タスク差は積み重なれば相当な金額になりうる。GPT-5.6 ファミリーの三モデルを見ると、Sol は1タスク8.39ドル、Terra は4.95ドル、Luna は3.03ドル。成功率は近い範囲に収まりながら、コストは最大で約3倍の差がある。

AI Agent で本当に見るべきはタスクあたりコストだ

私たちは単価を見る習慣がある。100万トークンあたりいくらか、という指標だ。チャット・翻訳・一問一答で完結するタスクなら、これはおおむね妥当だ。トークン消費量がほぼ一定だからだ。しかし Agent タスクは違う。モデル自身が何ステップ進み、どれだけ読み込むかを決める。単価が安いモデルでも、計画の効率が低かったり、試行と修正の回数が増えたりすれば、ステップとトークンをより多く消費し、単価の優位性をすべて打ち消してしまう可能性がある。

AI Agent にとって本当に見るべきは、1回の呼び出しのコストではなく、三つを同時に見ることだ。タスク完了率、完了に必要なステップ数、そしてプロセス全体で積み上がるトークンとツールのコストだ。厳密な数式ではないが、判断のフレームワークとして十分機能する。

Sonnet 5 に戻ろう。単価は低くても、このテスト群では平均268ステップを必要とした。同じく最高設定で実行した Fable 5 は88ステップで済む。ステップが増えるほど、コードの読み込み・ツール呼び出し・修正の繰り返しが増える。各ステップでモデルがそれ以前のコンテキストを再読込みする場合もあり、トークン消費は際限なく積み上がる。

公式データで計算すると、Sonnet 5 は1問あたり平均7000万を超える入力トークンを消費している。これはタスク全体のすべてのステップで繰り返し読み込まれた内容を合計した平均値だ。最終的に、1問あたりのコストは26.4ドル、成功率は53.8%だった。

Fable 5 low は1問わずか3.76ドルで成功率59.6%、Opus 4.8 max は成功率59.0%で1問13.22ドルだ。二者の成績は近い範囲に収まっているが、前者のコストは後者の3分の1以下だ。

表には Fable 5 max も掲載し、同一モデルの異なる effort 設定間の変化を直接比較できるようにした。

（データ：DeepSWE v1.1 公式公開データファイル、113問、2026-07-09）

このテスト群では、Sonnet 5 のトークン単価は低いが、タスク完了に必要なステップが多いため、総コストはむしろ最高になる。トークン単価は1回使用分の材料費、タスクコストは仕事全体を終えた後の総勘定だ。 ダッシュボードの散布図の横軸に単価ではなく「タスクあたりコスト」を使ったのは、この総勘定を一目で見えるようにするためだ。

コスト × 能力の選択マップ

ランキングのスコアとタスクあたりコストを重ねて見て初めて、実際にモデルを選ぶための地図が出来上がる。ダッシュボードの第一区は五つのよくある場面を整理している。日常作業、複雑な推論、プログラミング開発、大量実行、予算無制限だ。各項目に現時点での推奨モデルと、その推奨理由を示している。

その下にあるのが散布図だ。主要6モデルそれぞれに「effort 曲線」がある。effort とは、モデルがどれだけの計算・推論リソースを投入するかだと理解していい。グラフは同一モデルの低から高までの五段階設定のコストとスコアをつないでいる。曲線が平らなほど、effort を下げてコストを節約したときの性能低下が小さいことを意味する。

グラフ上の金色の線が「効率フロンティア」だ。現時点で最も検討する価値のある選択肢の集合と理解していい。線上の各点は、「スコアがより高く、かつ価格がより低い」選択肢が他に存在しない点だ。線上にないモデルが劣るわけではないが、このデータを見る限り、より正確か、より安価か、あるいはその両方を満たす代替案がすでに存在している。今回は、フロンティア全体の13点がすべて GPT-5.6 ファミリーの各設定に集中している。これは GPT-5.6 が個々の単項目すべてで1位だということではなく、今回のテストにおいて最も完全な能力とコストの組み合わせを提供したということだ。

13モデルの完全な一覧は以下の通りで、数値はライブダッシュボードと同期している。

（出典：DeepSWE v1.1、113 タスク、2026-07-09 更新。数値は毎週の更新で変わる。最新版は https://paulkuo.tw/ai/models/ を参照。）

関連データ：同じダッシュボードでは「汎化能力」も別途追跡している。見たことのない抽象的なルールをその場で推論できるかを測るもので、訓練データにある類似問題を覚えているかではない。上記のソフトウェア開発コストの議論とは別の次元だが、参考までに掲載する。

（出典：ARC Prize、arcprize.org/leaderboard、2026-07-12 確認。このランキングのモデル構成は上記と完全には一致しない。ベンダーが任意で提出した結果であり、Claude Fable 5、Claude Sonnet 5、Kimi K2.7 Code、xAI Grok 4.5 は現時点で公式結果がない。最新版は https://paulkuo.tw/ai/models/ を参照。）

ランキングの数字は信頼できるのか

こうしたツールを作るとき、本当に難しいのはグラフを描くことではなく、データだ。設計の段階で対処すべきリスクが三つある。リストが新しいモデルを取りこぼす可能性、AI が動的データにアクセスできないときに、もっともらしいが誤った結果を生成する可能性、そして今日正確な数字が来週には古くなっている可能性だ。

第一のリスクは、モデルそのものの取りこぼしだ。リストは手動でキュレーションしており、最大の問題は数字の誤りではなく、新しくリリースされたモデルがそもそもリストに入っていないことだ。数字の誤りは発見しやすいが、モデルの欠席は見えにくい。そこでページには「リストは網羅的ではない」と明記し、毎週の更新プロセスにも必ず一つのチェックを含めている。最近リリースされたが未掲載のモデルを積極的に検索する、というものだ。

第二のリスクは、ソースの読み間違いだ。データの出所を調べると、DeepSWE の公式サイトは動的に読み込まれるページで、元の HTML には数字が一つも存在しないことがわかった。私が使っていた AI の要約プロセスはこの動的データを読めなかったが、それでも完全そうな表を生成した。列や形式は整っているのに、一部の数字が間違っていた。その後、ブラウザでサイトが実際にどこからデータを取得しているかを調べ、サイト背後のデータソース（つまりAPIエンドポイント）を見つけた。41組の「モデル × 設定」の完全なデータを含む公式公開データファイルで、95%信頼区間付きだ。その日以来、更新パイプライン全体は画面上のテキストを読むのをやめ、直接一次データを取得するようにした。Sonnet 5 の268ステップという発見は、一次データだからこそ掘り出せたものだ。一般的な二次転載はスコアだけを残し、モデルが何ステップ使い、どのようにコストが積み上がったかは伝えない。

第三のリスクは最もシンプルで、同時に最も難しい。これらの数字は、来週もまだ正しいのか。

自動更新には guardrails が不可欠だ

ダッシュボードのデータは毎週月曜日に AI スケジューラーが最新ランキングを取得して自動更新する。ただし、自動更新後に直接公開されるわけではない。デプロイ前に一連の自動チェック、いわゆる Agent ワークフローの guardrails をすべて通過する必要がある。このダッシュボードには現在六つある。

1. データファイル構文：更新によってデータファイルが壊れていれば、ブロック。
2. 表現の誠実さ：自分で計算・整理した結論を「公式見解」として包んだり、実際に実行していない「人手による検証済み」と主張したりしてはならない。証拠を超えた表現が現れればブロック。
3. 履歴の改ざん防止：公開済みの履歴記録は自動更新で書き換えられてはならない。先週のバージョンと内容が異なれば、デプロイを停止して人手での確認に回す。
4. 四言語の一致：四つの言語版で数字が一致しなければブロック。
5. グラフのレイアウト：データ更新によって散布図のラベルが線に重なったり、互いに重複したり、範囲外に飛び出したりすればブロック。
6. 文章品質：更新内容に定型的な AI 文体、異常な句読点、サイトのトーンに合わない表現が現れればブロック。

中でも私が最も重視するのは第三のチェックだ。自動更新の最大のリスクは履歴の書き換えだ。毎週自分自身を書き直すシステムが「先週は何を推奨していたか、その理由は何だったか」すら保てないなら、その推奨は追跡できない。

別の記事でこのアプローチを一文に集約した。作業手順は劣化するが、判断基準は蓄積される。ツール・モデル・更新プロセスはすべて変わるが、エラーのたびに積み上がった検証基準は残り続ける。上記の六つのチェックは、すべて実際の問題から生まれたものだ。この考え方の完全版は〈難易度を定数として扱う〉と〈Harness は劣化し、Criteria は複利になる〉にある。

順位は、タスク判断の代わりにならない

ランキングは選択肢を絞り込む助けになる。しかし最後の問い、「このモデルは自分のタスクに適しているか」を代わりに答えてくれることはない。

AI Agent にとって、モデル選択には少なくとも四つを同時に見る必要がある。タスクを完了できるか、何ステップ必要か、1回の完了にいくらかかるか、失敗後の修正にどれだけのコストがかかるか。だからダッシュボードの最後のセクションには、コピーして使える四つの質問テンプレートを置いた。自分が使い慣れた AI に貼り付けて、自分のタスク・予算・エラー許容度を持ち込んでもう一度比較するためのものだ。その最後の一歩の判断は、ツールが代わりにすべきことではないし、私がすべきことでもない。

ツールはここにある：https://paulkuo.tw/ai/models/。毎週月曜に自動更新、四言語対応。人間と機械の協働についてのさらなる議論は知性と秩序のトピックページにある。

次に誰かが「このモデルが最強だ」と言ったら、こう聞き返すといい。どの種類のタスクで最強なのか。そして自分の仕事を終わらせるために、いくらかかるのか。