看到 Andrej Karpathy 的 autoresearch時,我想到自己的網站。如果把目標、修改範圍、評估與撤回方式先定清楚,能不能讓 AI 協助一輪輪嘗試,再由結果決定下一步?

那個專案以小型模型訓練為場景,讓 agent 在受限的程式與評估設定中反覆實驗。我借用的是這種做法,沒有把它直接搬成網站系統,更不能由此推論網站會自主證明自己變好。

以下是我在 2026 年三月設計網站實驗的經驗。回頭看,最值得留下的,不是「自己進化」的想像,而是分數上升之後,仍願意問:它究竟改善了什麼?

多一個資訊入口,也多一層檢查

AI 介面讓讀者多了一種接近文章的方式:有人先看模型的整理,再回到原文;有人透過帶有搜尋與引用的回答,第一次找到網站。

這沒有把搜尋引擎、讀者體驗或 SEO 變成次要的工作。對我而言,AI 可讀性是新增的一層:文章是否容易辨識,日期與來源是否清楚,工具取回後有沒有誤解。

JSON-LD 與 llms.txt 可以是整理網站資訊的做法,但檔案存在,不表示每個模型都會讀取,也不保證摘要、引用或連結正確。MCP、A2A 等介面的結構檢查,同樣不能直接代表外部工具使用成功。

我想做的,是讓這些問題可以反覆觀察,而不是替網站加上幾個欄位,就宣布它已經被 AI 理解。

把自動實驗迴圈的想法搬到網站

當時的設計,是由排程或人工觸發一次實驗:提出小範圍修改,檢查允許變動的檔案,套用到網站後跑評估,再決定保留或撤回,並把結果寫進紀錄。

我安排的內部評分,包含網站說明、結構化資料、agent 介面,以及模型回答網站相關問題的表現。這些項目把模糊的「AI-Ready」拆成幾件比較容易檢查的事。

依我當時的紀錄,第一輪分數從 65 變成 85。它讓我看到流程能回傳結果,卻還沒有回答:網站是否更好用?外部讀者或工具是否真的更容易找到並理解內容?

這也是為什麼,修改範圍、評估結果與能否撤回,要一起看。把流程自動接起來,只完成了實驗的一部分。

自己考自己,分數再高也要回頭看

後來三輪端到端嘗試,agent 反覆選擇幫文章加 FAQ,評分沒有變,三輪變更都被撤回。回頭看,agent 並沒有清楚理解評分的依據;我也還沒有把它真正需要改善的問題表達好。

但問題不只在提示怎麼寫。

我定義指標,讓 agent 依指標修改,再用同一套指標評估,形成了一個封閉的回饋。分數能告訴我是否符合這套規則,卻不能自行證明規則真的代表讀者需要。

增加 FAQ 可能符合某個檢查項目,但內容是否有用、是否忠實,仍要另外判斷。即使每次評分都順利完成,也不能把無效的變更累積成有效的優化。

因此,內部流程通過與外部結果改善,需要分開保留證據。

讓外部 AI 提供另一種觀察

我接著設計了 13 題問題,涵蓋身分、內容、跨域連結、時效與技術特色,也包含三題檢查模型會不會編造答案的題目,再用 Perplexity 觀察它如何從公開網路回答。

這比只看內部評分多了一個角度,卻不是 ground truth。回答可能受到模型、提示、搜尋結果、索引更新與時間影響。前一次答不出來、後一次答出來,還不能單靠這個先後順序,證明是網站修改造成改善。

我當時先重複量了 10 次,記錄的平均分是 50.63,標準差是 5.86。兩倍標準差是 11.72,算術沒有問題;但把它當作描述那批波動的暫定觀察帶,和把它當成統計顯著性的門檻,是兩回事。

小於這個差值,不等於沒有改善;大於它,也不表示已經證明改善。這十次量測,還不足以替不同題目、不同日期或不同模型建立通用的判斷線。

我也安排每天收集回答,想累積跨日基準。五天的資料可以讓我多看見一些變化,卻不能把檢索、模型與網站改動的影響自動分開。排程有沒有跑、回應是否完整、來源有沒有變,都仍要確認;缺資料時,應保留未知,而不是填成零分。

更接近結果的問題是:答案是否符合原文?引用能不能支持那句話?換一個問法或工具後,原本的改善還看不看得到?

不急著讓新指標主導決策

當時,我把外部回應這一層設為 observe-only:先記錄,不直接決定保留或撤回。

我曾把累積 20 輪設為下一個檢視點。那是工作安排,不是經過驗證的最低樣本數。若要談 false positive 或 false negative,還必須先定義什麼算改善、由誰核對,以及判斷的參考答案從哪裡來。

我仍然喜歡這種小範圍的迴圈:做一點變動,留下版本,觀察,再修正。但自動化不能替我選好指標,也不能替我承擔內容與發布的責任。

有相關工程能力的人,可以從容易驗收、能撤回的小實驗開始。成本、權限與維護負擔則要按自己的環境看,不能由這次個人實作,推成每個人都能低成本完成的保證。

至於未來的數位分身會不會帶著這樣的演化框架,仍是我想繼續探索的問題。現在能做的,是把每一輪改了什麼、看到了什麼、還不知道什麼,交代清楚。

系統設計的範圍

下面整理的是當時的設計思路,不能當成目前正式環境已重新執行的驗收。

面向autoresearch 給我的靈感我在網站實驗中需要另外處理的事
目標在受限的訓練設定中比較結果先定義希望改善哪一種閱讀或取用問題
修改範圍限制 agent 能改的程式限定檔案、內容與發布權限,保留人工確認
評估依設定的訓練指標比較區分結構檢查、模型回答與實際內容正確性
結果處理保留或捨棄一次嘗試留下版本與依據,確認撤回方式真的可用
外部觀察原專案不是網站效果測試對照回答與原文,追蹤來源與跨日變化

這張表提醒我:借到一個好方法,還需要替自己的問題補上判斷。

我希望網站能持續變得更容易理解。至於每一次修改有沒有往那裡走,不能只讓分數替我回答。

四格漫畫:分數上升之後,仍願意問:它究竟改善了什麼?檔案存在,不表示每個模型都會讀取,也不保證摘要、引用或連結正確。內部流程通過與外部結果改善,需要分開保留證據。前一次答不出來、後一次答出來,還不能單靠這個先後順序,證明是網站修改造成改善。小於這個差值,不等於沒有改善;大於它,也不表示已經證明改善。至於每一次修改有沒有往那裡走,不能只讓分數替我回答。

**2026 年 11 月修訂:**保留三月的實驗設計與作者紀錄數字,釐清內部評分、外部回應與小樣本統計各自能支持的範圍。