TL;DR — モデルの分担表は更新が必要だが、「難易度は永久に固定だ」と言うのも行き過ぎだ。私はまずタスク、誤りの影響、受け入れ要件を記述し、その時点のモデルと設定を別の日付付きの表に置く。二層に分ければ、書き直しを減らせる。ただし、条件が変われば、どちらの層も見直す必要がある。
少し前、Claudeに仕事の割り振りを手伝ってもらった。難しい仕事はOpus、中程度はSonnet、量が多く規則的な仕事はHaikuという表ができた。これは当時の提案であり、本稿で今日のモデルを順位付けしたものではない。
そこで私は、モデルが更新され続けるなら、この表をどうすればよいのかと尋ねた。
今日多くの資源を必要とする仕事にも、明日は別の方法があるかもしれない。一方、資料、ツール、要件が変わって、かえって難しくなることもある。分担表には名前だけでなく、判断の根拠と確認し直す方法も残す必要がある。
なぜ分担表は、気付かないうちに古くなるのか?
各ルールにモデル名を直接書き込むと、その時点では合理的だった選択が、後には誰も見直さない習慣になりやすい。ツールが動き続けていても、適切な構成であり続けているとは限らない。
変わるのは能力だけではない。タスクの範囲、入力の質、価格、使える権限、成果物に求める条件も変わり得る。古くなったことは、出費の増加だけに表れるとは限らない。新しいリスクを見落としたり、確認が不十分になったりすることもある。
だから私が知りたいのは、まだ表を参照できるかではなく、この行が最近どの証拠に基づいて更新されたか、ということだ。
タスクの記述とモデルの対応付けを分ける
Anthropicのワークフロー設計の記事では、ルーティングや作業の振り分けが紹介されている。参考になる進め方ではあるが、私の分類法や、その時点のモデル選択を保証するものではない。
私の二層設計では、第一層に仕事と受け入れ確認を記述し、第二層に現在誰へ任せ、どの設定を使うかを記録する。前者はモデル名が変わるたびに書き直さずに済み、後者は意識して差し替えやすくしておく。
たとえば、同じ文章の修正でも、句読点の校正と、意思決定に影響する主張の書き直しでは、必要な確認が異なる。これは、後者のほうが必ず推論として難しいという意味ではなく、誤りの影響と責任の担い方が異なるということだ。
判断のルールからモデル名を外せば、特定の提供元に固定される可能性を減らせる。しかし、以後ルールを変えなくてよいとは保証できない。新しい種類のタスク、証拠の要件、権限の条件が生まれれば、分類も調整すべきだ。
難易度、リスク、判断の余地を別々に見る
以前の私は、誤りのコストを難易度の最も重要な軸にしていた。今は両者を分けている。難易度は仕事を完了するうえでの難しさを指す。誤りの影響は、その結果についての問題だ。リスク評価では、誤りが生じる可能性と管理策も見る必要があり、一つの点数に混ぜてはいけない。
簡単そうな操作でも、元に戻せない、他の人に関わる、影響範囲が広いといった理由で、より厳格な確認が必要になることがある。一方、難しい探索でも、捨てられる草案にすぎなければ、同じ公開基準が必要とは限らない。
誤りのコストも永久の定数ではない。利用場面、依存する範囲、元に戻せるか、誰かが再確認するかによって、影響は変わり得る。モデルにとっての相対的な難易度も、タスクそのものの条件も変わる。
そのため私は、必要な推論と資料、選択が必要な点、誤りが及ぼす影響、受け入れ確認の責任者を別々に記録する。高・中・低という一つの点数で、これらの問いをそのまま置き換えることはできない。
見直しは、最新モデルに替えれば終わるものではない
私は以前、スケジュール処理の上流が途切れ、流れが静かに止まり、しばらくしてから気付いたことがある。この経験から、「まだ動いているか」のほかに、「今出している結果は用途に合っているか」も気にするようになった。
私は実際の仕事から代表的なタスクを一組残し、受け入れられる結果を先に書いてから、候補となる構成を比較する。10問程度は小規模な出発点になり得るが、一度通過しただけで、すべてのタスクが安定すると言うことはできない。
確認では、バージョン、資料、設定、受け入れ条件を記録する。コスト比較には、待ち時間、やり直し、再確認、統合も含める。モデルが世代交代しても、安い選択肢が必ず合格するとは限らず、すべての仕事をすぐ移すべきだとも限らない。
表の更新日は、後からたどれる記録を残すものであり、正しさの証明ではない。未完了のテストや、なお疑問のある用途も、一緒に残す必要がある。
複数の役割が、一時的に同じモデルを使ってもよい
私は対応表で、複数の役割が同じモデルを使えるようにしている。階層を保つためだけに、無理に仕事を分けないためだ。ただし、役割の数がまとまっていくか、いつそうなるかを、必然として先に決めることはできない。
役割を分けること、モデルが異なること、確認が有効なことも、同じではない。別の観点が必要なら、異なる資料、指示、評者の組み立てを考えられる。ウィンドウを一つ増やすだけでは、判断の独立性は保証されない。
これは、複数モデルによる認知的協働やFable 5の仕事のシステムで考えてきた問いの延長にある。分担の価値は、何個のモデルを使ったかではなく、仕事の完了に役立ったかにある。
廃止する条件も、設計の一部
Anthropicは複数エージェントによる研究システムの経験をまとめた記事で、協働のコストと、適用範囲の限界に注意を促している。これは特定のシステムの経験であり、すべてのワークフローに固定のトークン倍率があるという話ではない。あらゆるプログラミングの仕事が分担に向かないとも言えない。
私のシステムで振り分けの仕組みを残すかどうかは、それがもたらす品質、コスト、保守負担を比較して決めるべきだ。提供元の内部ルーティングは、再評価の理由にはなる。ただし、制御のしやすさ、権限、資料、受け入れ要件も見る必要があり、機能が登場しただけで自分の仕組みを廃止することはできない。
私は以前、価値が保守コストに見合わなくなった自動最適化システムを廃止したことがある。この経験は、ツールを永久に残す必要はないと教えてくれた。ただし、廃止するときには依存関係を説明し、必要な資料を残し、仕事を別の方法で進められるようにしたい。
付記:書き込んで使える確認リスト
まず、よく行う仕事を3〜5種類選ぶ。それぞれについて、入力と範囲、必要な資料と推論、誤りの影響、完了後に誰がどの基準で受け入れ確認するか、という四つを書く。
次に日付付きの対応表を作り、役割、モデルのバージョン、利用できる設定、ツールと権限、選んだ理由を記録する。表は提案を示せるが、実際にモデルをまたいで実行すること、支払うこと、公開することは、なお既存の承認に従う必要がある。
続いて、代表的なタスクと反例を準備し、通過、失敗、まだ検証していない範囲を記録する。見直しでは、成果物を引き渡すまでの全体のコストを比べる。最後に、再評価や廃止の条件を書き、誰も読み返さない場所に隠さない。
この確認リストは設計の出発点だ。実際に使えるモデル、ツール、権限は、自分の環境で確認する必要がある。一つのウィンドウで割り当てを提案できても、その表に従ってモデルをまたぐ実行までできるとは限らない。
方法を残し、方法自体の修正も認める
複数のウィンドウで複数の仕事を進めるようになってから、私は友人と共通の感覚について話したことがある。産出は速くなったのに、文脈を追うのはかえって大変になった。私たちはどちらも、方向を整理するために手書きのノートを再び使うようになっていた。
これは、手書きが必ずツールに勝るという話ではない。仕事の振り分けにも、人の注意力が必要だという気付きだ。モデルの費用をいくら節約できるかだけでは、仕組みを残す価値は決まらない。
今の私は、以前の「難易度を定数にする」を、もう少し実際的な原則に改めたい。タスクと受け入れ要件の置き場所を明確にし、モデルの選択は対応付けを変えられるようにする。そして、両方に修正の入口を残す。ワークフローについての考察は、AIと人間の秩序へ。


💬 コメント
読み込み中...