Andrej Karpathyのautoresearchを見たとき、自分のウェブサイトが頭に浮かんだ。目標、変更範囲、評価、撤回方法を先に明確にすれば、AIに繰り返し試してもらい、結果を見て次を決められるだろうか。
あのプロジェクトは小規模モデルの訓練を対象とし、制約されたコードと評価設定の中でagentが実験を繰り返すものだ。私が借りたのは、その進め方である。そのままウェブサイトのシステムに移植したわけではなく、サイトが自律的に自分の改善を証明できるとも推論できない。
以下は、2026年3月にウェブサイトの実験を設計した経験だ。振り返って、最も残しておきたいのは、「自ら進化する」という想像よりも、点数が上がったあとも、何が改善されたのかを問い続ける姿勢だった。
情報への入口が増えたら、確認する層も増やす
AIの画面は、読者が記事に近づく方法を一つ増やした。モデルによる整理を先に読んでから本文に戻る人もいれば、検索と引用のある回答を通して、初めてサイトを見つける人もいる。
だからといって、検索エンジン、読者の使いやすさ、SEOの重要性が下がるわけではない。私にとってAIの読み取りやすさは、新たに加わる一層だ。記事を識別しやすいか。日付と出典は明確か。ツールが取得したあとに誤解していないか。
JSON-LDやllms.txtは、サイトの情報を整理する方法にはなる。でも、ファイルが存在するからといって、すべてのモデルが読むとは限らず、要約、引用、リンクが正しいことも保証しない。MCPやA2Aなどのインターフェースの構造を確認しても、それだけで外部ツールが利用に成功したことにはならない。
私がやりたかったのは、こうした問いを繰り返し観察できるようにすることだ。項目をいくつか追加しただけで、サイトがAIに理解されたと宣言することではなかった。
自動実験ループの考え方をウェブサイトへ
当時の設計では、スケジュールまたは手動で一回の実験を始めた。小さな範囲の変更を提案し、変更が許されたファイルを確認し、サイトに適用してから評価する。その後、残すか撤回するかを決め、結果を記録する流れだった。
内部の採点には、サイトの説明、構造化データ、agent向けのインターフェース、モデルがサイトに関する問いに答える際の出来を含めた。曖昧な「AI-Ready」を、比較的確認しやすい項目に分けるためだ。
当時の私の記録では、最初の一巡で点数が65から85になった。処理が結果を返せることは見えた。でも、サイトが使いやすくなったのか、外部の読者やツールが内容を見つけ、理解しやすくなったのかは、まだ分からなかった。
だから、変更範囲、評価結果、撤回できるかどうかは、一緒に見る必要がある。処理を自動でつないでも、実験の一部ができただけなのだ。
自分で自分を採点するなら、高得点でも振り返る
その後の三回の一連の試行で、agentは繰り返し、記事にFAQを追加することを選んだ。点数は変わらず、三回の変更はすべて取り消された。振り返ると、agentは採点の根拠を明確に理解していなかった。私も、本当に改善してほしい問題を、まだ十分に伝えられていなかった。
でも、問題は指示の書き方だけではない。
私が指標を定め、agentにその指標に沿って変更させ、同じ指標で評価する。そこには閉じたフィードバックが生まれる。点数は、そのルールを満たしているかを教えてくれる。でも、そのルールが本当に読者の必要を表していることまでは、自ら証明できない。
FAQを増やせば、ある確認項目には合うかもしれない。ただ、内容が役立つか、忠実かは、別に判断する必要がある。毎回の採点が問題なく終わっても、効果のない変更を重ねることで、有効な改善になるわけではない。
だから、内部の処理が通ることと、外部での結果がよくなることは、別々に根拠を残す必要がある。
外部のAIから、別の観察を得る
次に私は、人物としての認識、内容、分野をまたぐつながり、情報の新しさ、技術的な特徴を含む13問を設計した。モデルが答えを作り上げないかを見る三問も含め、Perplexityが公開ウェブからどう答えるかを観察した。
内部の採点だけを見るより、視点は一つ増える。でも、これはground truth、つまり正解そのものではない。回答はモデル、プロンプト、検索結果、索引の更新、時刻などに影響される。前回は答えられず、今回は答えられたという順序だけでは、サイトの変更が改善をもたらしたとは証明できない。
当時は、まず十回繰り返し測った。記録した平均点は50.63、標準偏差は5.86だった。標準偏差の二倍は11.72で、計算に問題はない。ただ、それをあの一群のばらつきを記述する暫定的な観察の幅とすることと、統計的な有意性の判定基準とすることは別だ。
この差より小さくても、改善がないとは限らない。大きくても、改善が証明されたことにはならない。十回の測定だけでは、異なる問い、日付、モデルにも使える共通の判断基準には足りない。
日をまたぐ基準を蓄積したくて、毎日回答を集めるようにもした。五日分のデータがあれば、見える変化は少し増える。でも、検索、モデル、サイトの変更の影響を、自動的に切り分けられるわけではない。スケジュールが実行されたか、応答は完全か、出典が変わっていないかも確認が必要だ。データが欠けたときは、ゼロ点で埋めず、不明のまま残すべきだ。
結果により近づく問いは、こういうものだ。回答は本文と一致しているか。引用した出典は、その文を支えられるか。聞き方やツールを変えても、先ほどの改善はまだ見えるか。
新しい指標に、急いで判断を任せない
当時、外部応答の層はobserve-onlyにした。まず記録し、変更を残すか撤回するかは、直接決めさせなかった。
二十巡を蓄積したところで次に見直す、と決めたこともある。それは仕事の予定であって、検証された最低サンプル数ではない。false positiveやfalse negativeを論じるなら、まず何を改善とするか、誰が照合するか、判断の基準となる答えをどこから得るかも定義する必要がある。
小さな範囲のループは、今も好きだ。少し変え、版を残し、観察し、修正する。でも、自動化が私に代わって適切な指標を選び、内容と公開の責任を担ってくれるわけではない。
関連するエンジニアリングの力がある人なら、確認しやすく、撤回できる小さな実験から始められる。費用、権限、保守の負担は、自分の環境に即して考える必要がある。今回の個人的な実践から、誰もが低コストで実現できるとは保証できない。
未来のデジタル分身が、こうした進化の枠組みを備えるかどうかは、今も探り続けたい問いだ。今できるのは、一巡ごとに何を変え、何を観察し、何がまだ分からないのかを明確にすることだ。
システム設計の範囲
以下は当時の設計の考え方を整理したもので、現在の本番環境で再実行して確認した結果ではない。
| 観点 | autoresearchから得た着想 | サイトの実験で別途扱う必要があること |
|---|---|---|
| 目標 | 制約された訓練設定の中で結果を比較する | 読むことや情報を取り出すことの、どの問題を改善したいかを先に定める |
| 変更範囲 | agentが変更できるコードを制限する | ファイル、内容、公開の権限を限定し、人による確認を残す |
| 評価 | 設定した訓練指標で比較する | 構造の確認、モデルの回答、実際の内容の正しさを区別する |
| 結果の扱い | 一回の試行を残すか捨てるかを決める | 版と根拠を残し、撤回方法が実際に使えることを確認する |
| 外部の観察 | 元のプロジェクトはサイトの効果を試すものではない | 回答と本文を照合し、出典と日をまたぐ変化を追う |
この表は、よい方法を借りても、自分の問題に必要な判断を補わなければならないことを思い出させてくれる。
サイトを、少しずつ理解しやすいものにしていきたい。一回ごとの変更がその方向に進んだかどうかは、点数だけに答えさせることはできない。
**2026年11月改訂:**3月の実験設計と私の記録した数値を残しながら、内部の採点、外部の応答、少数回の測定の統計が、それぞれ何を支えられるかを明確にした。


💬 コメント
読み込み中...