あの事故を振り返ると、私のOneUp自動投稿パイプラインが深夜二時に同じ投稿を重複して送ってしまった。朝起きてスマートフォンの通知を見て、四十分かけて手動で投稿を削除した。
あの日の教訓は、動く試作を作ることと、境界の中で信頼して仕事をさせることは、二段階の異なる仕事だということだった。
当時、三つのシステムを作っていた。討論エンジンではGPT-4o、Gemini、Grokが議論し、Perplexityが確認した。OneUpのパイプラインはGoogleスプレッドシートから予定を読み、DALL-Eで画像を生成して八つのプラットフォームへ投稿した。もう一つは生産ラインの監視に使った。これらは当時の構成であり、それぞれ異なることを学ばせてくれた。確認の段階があることも、すべての出力が正しいことを意味しない。
これは理論ではない。失敗を踏みながら帰納した五つの原則だ。
動く前に三つの問いに答える
コードを一行書く前に、私は今、自分に三つの問いを強制する。この Agent は何の問題を解くのか。権限の範囲はどこまでか。正しく動いていると、どうやって判断するのか。
基本的に聞こえるかもしれないが、討論エンジンの初版はまさに二番目の問いを考えていなかった。モデルが自由に討論のラウンド数を決められるようにした結果、あるとき二十七ラウンド走り、API の枠を使い果たした。その後、ハードな上限を設けた。最大五ラウンド、超えたら強制収束させる。これは回数を制限できても、モデルが本当に合意したことや結論の正しさを保証しない。
境界が曖昧だと、Agentの受け入れ確認や停止は難しくなる。許可する操作、投入の上限、停止条件を先に書き、それから実装する。
適切なAPIを評価してから、ツールのインターフェースを決める
Agentがツールを呼んで複数段階の仕事をするとき、ツールが増えるほど、扱う権限、状態、失敗の形も通常は増える。
最初はブラウザ自動化で予定を登録していたが、UI変更でフローが中断することが多く、後にAPIへ切り替えた。私の原則は、適切なAPIがあり、文書と明確な権限の境界があるかを先に評価することだ。それでは必要な仕事を完了できない場合、ブラウザ自動化を考える。どちらも応答、インターフェースの変更、停止条件を確認する必要があり、名前だけで安定性を保証することはできない。
データ処理も同じだ。入力に欠落があったり形式が合わなかったりすれば、その後の判断に影響しうる。〈AIの嵐の中で活路を見出す〉では協働の役割分担について考えた。Agentの計画では、まずデータの出所、形式、利用できる範囲を確認したい。
モジュールに分割する。エラーを特定できるように
私が採用する分け方は四つだ。Input処理 → 意思決定ロジック → ツール呼び出し → 結果の後処理。各部分をできるだけ個別にテストできるようにする。投稿やデータ変更など外部への操作には、停止、照合、補救の方法を別に設ける必要がある。モジュールに分けても、外部への影響を元に戻せるとは限らない。
討論エンジンはそう設計した。Input モジュールがトピックとモード(dialogue/duo/adversarial)を解析する。意思決定モジュールがラウンド制御と収束判断を担う。ツール呼び出しモジュールが四モデルへの API 呼び出しを処理する。後処理モジュールが結果を Markdown として保存する。こうすると問題の特定や影響範囲の縮小はしやすくなるが、共有状態や誤ったデータはモジュールを越えて伝わりうる。
これは私がメモに記している協働の原則でもある。複雑なエンジニアリングはまず Phase に分解し、各 Phase を独立して検証可能にする。一括処理の結果は、たいてい途中で詰まり、それまで正しく動いていた部分まで壊すことになる。
各段階を追跡可能にし、再試行も安全にする
Agent の動作プロセスは透明でなければならない。そうでなければ、何かが壊れたとき、どこで壊れたかわからない。
重複投稿によって、タイムアウトは応答を時間内に受け取れなかったことを示すだけで、外部操作の失敗を意味しないと意識するようになった。ログは追跡を助けるが、同じ仕事をそのまま再送すれば、なお重複を起こしうる。AWSの〈冪等なAPIで再試行を安全にする〉もこの問題を説明している。私の計画上の提案は、仕事に一意の識別子を付け、送信状態を記録し、再試行前に照会や照合を行うことだ。APIが冪等キーをサポートするなら、再試行でも同じキーを使う。外部への影響を確認できないときは、自動再送を止める。
監視を整理するために、操作ログ、選択理由、費用追跡の三層を使っている。モデルが書く理由は内部推論の完全な記録ではない。操作の成否は実際の結果とも照合する必要がある。記録のアクセスと内容も管理し、認証情報や不要な機微情報をログに書かないようにする。
最小のシナリオから始める
最後の原則が最もシンプルで、最も見過ごされやすい。小さく始めることだ。
当時の監視システムは、まず一つの生産ラインの一つのパラメータだけを見て、二週間の試運転後に徐々に広げた。試運転の期間だけでは、全ラインや自動調整の安全性は証明できない。〈始めたいのにためらうとき:まずリスクと次の一歩を明確にする〉で扱うのは、引き受けられ、引き返せる小さな試みだ。Agentも、低リスクで停止でき、観察できるPOCからフィードバックを得られる。正式な提供、実データ、物理的な操作には、それぞれ必要な権限の承認と検証がある。
Agentには、人の能力を広げてもらいたい。結果への責任を隠してほしくはない。役割、ツールの選択、モジュール化、追跡可能性、小さな検証は、失敗から整理した五つの気づきだ。どれも具体的な仕事と外部への影響に戻って確認する必要がある。
理解と結果をつなぐ
動くAgentにも、受け入れ確認と停止ができる境界が必要だ。
タイムアウトの結果は不明かもしれず、操作の失敗とは即断しない。
ログは追跡を助けるが、再試行前にはなお外部への影響を照合する。
APIが冪等キーをサポートするなら、同じ仕事の再試行では同じキーを使う。
モジュールや小さな試運転は、外部への影響を元に戻せる保証ではない。
まず何が起きたかを確認し、それから再試行するかを決める。
2026年11月5日改訂。 システムと事故は当時の仕事の経験を記したものであり、安全な再試行の原則は本文でリンクしたAWSの技術記事を参考にしている。五つの原則は計画上の提案であり、特定のサービスがすべての仕組みをサポートすることや、試運転で安全性が証明されたことを意味しない。


💬 コメント
読み込み中...