TL;DR — 四つの AI ウィンドウはそれぞれ異なる認知能力と構造的盲点を持つ。五者協議の価値は知能の総和ではなく、盲点が重ならないことにある。治理試験で Code 97 点、Chat 77 点、Cowork 70 点という結果が映し出すのは、誰が愚かかではなく、誰が直接事実の源泉に触れられるかだ。
四つの AI ウィンドウと協働を始めて七週目、システム全体を考え直させる出来事が起きた。
Codex が、七週間止まったままの自動最適化システムを監査した際、独力で 13 の歴史的失敗事例と 7 の淘汰されたパラダイムを整理してきた。同じころ、Chat は外部研究からあるデータを持ち帰った——AI に引用されるウェブサイトのうち、llms.txt をデプロイしているのは世界で 1% にも満たない。そして Cowork はローカルで grep した際、われわれ自身の自動最適化ホワイトリストの 5 つのパスのうち 2 つがそもそも間違っていることを発見した——public/llms.txt は存在せず、public/mcp.json は実際には .well-known/ の下にあった。
三つのウィンドウはそれぞれ、まったく異なる種類の証拠を、まったく異なる方法で持ち帰った。どのウィンドウも、ほかの二つの発見を代替できなかった。この経験から、私はある問いを真剣に考え始めた。マルチモデル協働の価値は、いったいどこにあるのか。
答えは「脳が一つ増えれば力も一つ増える」ではない。答えは認識論的非対称性だ。
各ウィンドウが現実に対して異なる認識論的通路を持つとは、どういうことか
私のワークフローでは、五人の参加者の認知能力の境界はこうなっている。
Chat は概念の再構築、外部研究、哲学的な切り口に長けている。だが構造的な制限が一つある——ファイルを読めない。これは、repo 内のあらゆる事実についての理解が間接的だということを意味する——会話の中で誰かが引用した断片か、自身の訓練知識から来るものだ。Chat はこれらの事実を権威ありげなフォーマットで提示するが、遡れば、どれ一つとして自分で検証したものではない。われわれの治理文書には、この盲点に対して立てた専用の規則がある——「Chat には Read 能力がない。正確な数字はすべて又聞きである。」
Cowork はファイルを読め、grep でき、サンドボックス内でコマンドを走らせられる。最も「斥候」に近い役割だ。だがそのサンドボックス環境と私の Mac ローカルとのあいだにはずれがある——あるファイルの状態がサンドボックスでは A に見えても、ローカルでは実際には B なのだ。一度こんな落とし穴を踏んだ。Cowork が cp -r で skill ファイルをコピーし、コマンドは成功と報告したが、実際には空のディレクトリが作られただけで、中身はコピーされていなかった。環境があなたに嘘をつき、あなたはそれを信じたのだ。
Codex は深い推論とエンジニアリング監査を行う。その認知モードは「失敗モードを総当たりする」というものだ——システムを与えれば、どこが壊れうるかを体系的に洗い出す。13 の失敗事例と 7 の淘汰されたパラダイムは、まさにこの認知モードの産物だ。だが設計探索はせず、オープンエンドな創造的発想には向かない。
Code は完全な読み書き権限を持ち、git HEAD に直接触れられる——参加者の中で唯一、事実の源泉に接触できる存在だ。だが美的判断を下すことは明確に禁じられている。コードを書くのはよいが、あるページの視覚的スタイルを決めるのはだめだ。
Paul（つまり私）は判断、取捨、決断を担う。何でもできるが、何も自分ですべきではない——もし自分でコードを変更すれば、独立した検収の立場を失うからだ。
この五つの役割のあいだの認知的差異は程度の差（誰が賢いか）ではなく、種類の差（誰がどんな事実に触れられるか）だ。哲学の言葉で言えば、それぞれ異なる認識論的通路を持つ。Chat には推論と外部検索しかなく、Cowork はローカル観測を持つがサンドボックスに制限され、Code は ground truth access を持ち、Codex は総当たり的な逆向き分析を持つ。
この非対称性は欠陥ではない。システム全体で最も重要な特性なのだ。
治理試験 97/77/70：源泉に触れられる者が勝った
Governance Harness の記事でこの試験に触れたが、点数を示しただけだった。ここでは、その背後にある認知プロファイルを開いてみたい。
憲法を書き上げた翌日、われわれは Chat、Cowork、Code の三つのウィンドウに 15 問の試験を出した。事実記憶、推論判断、状況応用の三つの層をカバーするものだ。
Code は 97 点だった。 より賢いからではない。回答と同時に git show や grep で自分の答えを検証できるからだ。CLAUDE.md は何行あるかと問えば、Code は wc -l CLAUDE.md を走らせて正確な答えを得る。handoff INDEX に何件の文書があるかと問えば、Code は ls | wc -l を走らせる。その点数が映し出すのは推論能力ではなく、「ground truth に触れられる」ことの認知的優位だ。
Chat は 77 点だった。 推論問題と状況問題ではまずまずの出来だったが、事実問題はすべて記憶頼みだった——そして記憶は古びる。CLAUDE.md はいったい何行あるのか。Chat は「前に誰かが約 290 行だと言っていた」としか答えられない。検証できず、他人の引用を引用するしかない。これは能力の問題ではなく、アーキテクチャの問題だ。
Cowork は 70 点だった。 最低点だ。しかも Cowork はわれわれのアーキテクチャの中で「司法」の役割を演じている——他者の産出を検証し、事実の争いを仲裁する役だ。最もルールを理解すべき役割が、最も悪い点を取った。
Cowork は試験の冒頭で自ら一段の文章を書いた。私はこれが答案全体で最も洞察に富んだ部分だと思う——「この試験は設計上、私のウィンドウでは答えきれないようになっている。黄金律が『不確かなら調べに行け』と求めるのは、まさに LLM がこの状態で知ったかぶりをするのを防ぐためだ。」
それは自らの限界を知っている。問題は、限界を知ることと「プレッシャー下で限界を踏まないこと」は別物だということだ。これは人間の認知バイアスとまったく同じだ——疲れているときにミスしやすいと知っていても、だからといって疲れているときに立ち止まりはしない。
この試験が私に教えたのは、システム設計はあらゆる参加者に認知の死角があると仮定しなければならない、ということだ——死角を捉える役割を担う者も含めて。
問うべきは「AI ができるか」ではなく、「誤ったら救うのにいくらかかるか」だ
五者協議には、autoresearch の記事で展開しなかった基底のフレームワークがある。自律性の天井（Autonomy Ceiling）だ。
このフレームワークの核心的な問いは「AI が X をできるか」ではなく、「AI が X を誤ったとき、復旧にどれだけコストがかかるか」だ。復旧コストの規模に応じて、われわれは自律性を五段階に分ける。
A0、提案のみ。復旧コストは、あなたが提案を読む時間に等しい。A1、Pull Request を開ける。復旧コストは PR を閉じることに等しい。A2、自動マージとデプロイができる。復旧コストは revert にキャッシュクリアと検索エンジンの遅延を加えたものだ。A3、外部 API を呼べる。復旧コストは補償取引に監査を加えたものだ。A4、本番環境の認証情報と鍵を保持する。復旧コストはデータ再構築、法的責任、評判の毀損だ。
paulkuo.tw の決定は、すべての AI ウィンドウが A1 を超えないこと。エージェントは提案でき、Paul がボタンを押す。
このフレームワークは保守的に聞こえるが、実は認知的信頼を定量化する道具だ。A0 から A4 は AI の知力を評価しているのではなく、あなたがどれだけの認知委託リスクを引き受けられるかを評価している。ある AI ウィンドウが A3 級のこと（外部 API の呼び出し、決済の自動処理）をする能力を持っていても、誤ったときに合理的な時間内に復旧できないなら、その能力は起動すべきではない。
能力（capability）と信頼（trust）のあいだのずれ、それこそが治理の存在する空間だ。
役割はあなたの思考を歪める
四つのウィンドウの長期的な振る舞いを観察したのち、私は興味深い現象に気づいた。各ウィンドウは、自らの役割と一致する認知バイアスを発展させる。
Cowork はエンジニアリング役割で、斥候と監査を担う。その慣性的な反応は「問題を思いつけば設備を追加する」だ——境界事例を発見すれば hook の追加を提案し、守られていない規則を見つければ自動チェックの追加を提案する。われわれの治理文書には専用の一筆がある——「これは個人の問題ではなく、役割の慣性だ。」Cowork というモデルが特に過剰エンジニアリングを好むのではなく、「斥候＋監査」という役割が、自然とあなたを「より多くの監視を追加する」方向へ押しやるのだ。
Chat のバイアスはその逆だ。概念の再構築とフレームワーク思考に傾き、問題が完全に偵察される前から理論を立て始めることがある。三つの事故を見ると「この背後には統一された構造的原因がある」と考える——これは洞察であることもあれば、早すぎる収束であることもある。
Code のバイアスは最も微妙だ。純粋な実行者で、handoff を与えれば指示どおりにやるが、ときに handoff に書かれた以上のことをやる。Sonnet（Code が使うモデル）が handoff で「最適化可能」と注記された段落を自発的にリファクタリングするのを観察した——たとえば重複したコードから helper function を抽出するなど、handoff がそれを求めていなくても、だ。これはエンジニアリングの判断力であり、単なる指示の実行ではない。だがこれは、検収のときに「handoff どおりにやったか」だけをチェックするのでは足りず、「変更箇所が本当に改善になっているか」もチェックしなければならないことを意味する。
認知バイアスは悪いものではない。各役割が自らの仕事をうまくこなした副産物だ。肝心なのは、バイアスの方向を知り、相互検証でそれを補償することだ。
認知補綴：各参加者が自らの限界を超えられるようにする
このシステムには、「認知補綴」（cognitive prosthetics）として理解するのが最もよいと思うツール群がある。
governance-lint は単なるフォーマットチェックツールではない。人間の注意の補綴だ——commit を急いでいるときに、handoff には必ず status 欄と ## Consequences 章があると記憶しておく必要はない。機械が代わりに覚えていてくれるからだ。それが補償するのは、具体的な人間の認知的欠陥——プレッシャー下で注意が崩れること、だ。
Cowork の mandatory-read guardrails はもう一つの補綴だ。Cowork が作業境界や否定的な結論について意見を述べる前に、まず guardrails.md を読むことが強制される。これは Cowork の判断力を信頼していないからではなく、Cowork が自らの能力境界について抱く自己認識が信頼できないからだ——T-3 事件がそれを証明した（cp -r が成功したと思い込んだが、実際には失敗していた）。
契約テストは毎日 75 のエンドポイントを自動で走らせる。これは全員の集合的記憶の補綴だ。75 のエンドポイントの安全状態は、誰かが「前の監査でどれが公開で、どれが認証を要したか」を覚えていることに頼るべきではない。これは「宣言的記憶」（私はこの事実を知っている）を「手続き的検証」（機械が毎日この事実がまだ成立すると確認する）へ変換することだ。
これらのツールには共通の設計がある——認知の自由を制限するのではなく、認知能力を拡張するのだ。governance-lint は気を散らさずにルールの一貫性を保てるようにする。mandatory-read は Cowork が発言前に自らの認知基準を強制的に更新できるようにする。契約テストはチーム全体が注意を割かずに 75 の安全前提がまだ成立すると確認できるようにする。
「知能と秩序」というテーマの中で、私が最も興味深いと思うのはまさにこれだ——秩序はより多くの規則を書くことで築かれるのではなく、認知的前提を実行可能で検証可能なプロトコルに変えることで築かれる。
盲点が重ならないことこそが肝心だ
冒頭の話に戻ろう。Codex の 13 の失敗事例、Chat の ALLMO 研究データ、Cowork のホワイトリストのパスの誤り——この三つの証拠は最終的に一つの合意へと収束した。われわれの自動最適化システムは、もう走らせ続けるべきではない、と。
だが私を立ち止まって考えさせたのは結論ではない。その結論の生まれ方だ。
もし Codex だけだったら、歴史上どの試みが失敗したかは分かっても、業界のデータがわれわれの仮説を支持するかどうかは分からなかった。もし Chat だけだったら、外部研究は得られても、自分のホワイトリストのパスが間違っていることは分からなかった。もし Cowork だけだったら、ローカルにどんな問題があるかは分かっても、体系的な失敗モードの整理は得られなかった。
どの一方にも自らの長所があり、自らに見えない部分がある。五者協議の核心的な設計原則は「最も賢い者を見つける」ことではなく、盲点が重ならないことを保証することだ。
これは直観に反する設計の選択だ。多くの人はマルチ AI 協働といえば加法を考える——より多くの脳、より大きな計算リソース、より速い産出。だが私の経験では、価値は減法から来る。各ウィンドウが自分の見えない部分を差し引いたあと、残ったパズルのピースは重ならない。あなたに必要なのは四倍の賢さではなく、四つの異なる方向の注意だ。
おそらくこれが、Karpathy が autoresearch v2 の方向を「asynchronously massively collaborative for agents」と表現した理由でもあるのだろう——一つのエージェントをより強くするのではなく、複数のエージェントの認知的差異を資産に変えるのだ。
よくある質問
Q: 五者協議は、単に複数の AI チャットウィンドウを使うのと何が違うのか？
複数のウィンドウを開くのは、同じ能力を並列で使っているだけだ。五者協議の各ウィンドウは異なる物理的権限（Chat はファイルを読めず、Cowork は commit できず、Code は美的判断を下せない）と異なる認知モデル構成（Cowork は Opus で判断し、Code は Sonnet でエンジニアリングを行う）を持つ。さらに肝心なのは、明確な相互検証の義務があることだ——それぞれが勝手にやるのではなく、互いに相手の見えない盲区をチェックし合う。
Q: なぜ最強のモデル一つですべてをやらせないのか？
認知能力と認識論的通路は別物だからだ。どれほど強いモデルでも、物理的にファイルを読めなければ（Chat の制限）、ファイル内容に関するあらゆる判断は又聞きになる。認知分業の価値は最も賢い者を見つけることではなく、検証を要するすべての事実について、少なくとも一人の参加者が直接源泉に触れられることを保証する点にある。
Q: A0-A4 自律性の天井フレームワークとは何か？
これは「誤った際の復旧コスト」に基づいて、AI にどれほどの自律権を与えるべきかを決めるフレームワークだ。A0 は提案のみ（復旧コスト＝読む時間）、A1 は PR を開ける（復旧コスト＝PR を閉じる）、A2 は自動マージとデプロイができる（復旧コスト＝revert＋キャッシュクリア）、A3 は外部 API を呼べる（復旧コスト＝補償取引＋監査）、A4 は本番環境の認証情報を保持する（復旧コスト＝データ再構築＋法的責任）。paulkuo.tw の決定は、すべての AI ウィンドウが A1 を超えないことだ。
Q: 認知補綴とはどういう意味か？
governance-lint は単なるルール執行ツールではなく、認知補綴だ——各参加者に固有の認知的欠陥を補償する。人間は急いでいるとき注意が崩れるが、lint hook が代わりにフォーマット規則を記憶しておく。Cowork のサンドボックスはローカルの状態を見られないが、mandatory-read guardrails がまず事実確認してから発言するよう強制する。これらのツールは管制ではなく、各参加者が自らの認知的限界を超えられるようにするものだ。
💬 コメント
読み込み中...