一套每天會自動執行的系統,如果早就不再產生有效結果,我們要怎麼發現?
我曾希望網站能自己修改設定、自己評分,再保留比較好的版本。後來的檢討讓我重新考慮:除了修理程式,我還需要問,那個分數到底離我真正想要的成果有多遠。
這篇保留那次退役的教訓,但把技術故障、評分設計與個人網站的方向分開。不把一次個案推成所有網站的定律,也不把多個AI參與討論命名為別人研究的正式新版。
TL;DR:autoresearch可以啟發「提出修改、試驗、評估、保留或捨棄」的工作方式。本站曾嘗試用類似方式改站,卻留下檔案截斷與有效產出監控的問題;可核對的版本變更不等於完整執行根因。另一個問題是代理評分能否反映網站真正成果,第三個才是作者的策略選擇。多方獨立檢查、由人核對與拍板,是我選擇的協作安排,不是已驗證的autoresearch v2。
一、先把autoresearch與幾個術語說清楚
在本文查閱的Karpathy專案固定版本裡,autoresearch讓agent修改一個小型語言模型的訓練程式,在固定五分鐘訓練預算下測量結果,再決定保留或捨棄;該時間不含啟動與編譯。它使用單一GPU設定與特定驗證指標。[1]
這裡的mutation是一次候選修改,reward是用來判斷好壞的回饋。模型驗證指標有明確用途,不能因此保證換成網站分數,也會改善網站的所有目標。
我曾把相似想法放到本站:讓系統對指定站台檔案提出修改、建置與評分。這是我的網站實作,不是原專案已替個人品牌驗證過的方法。
本文不重建原專案最初發布日,也不以未核對的社群貼文長引語建立正式v1、v2的版本關係。借用方法,仍須說明借用了什麼、改變了什麼。
二、先處理技術紀錄,不用策略故事代替故障調查
本次核對本站Git版本紀錄,可以確認2026年3月23日的一次變更,把experiments.json從有內容改成0 bytes;5月13日的退役變更則移動舊目錄、加上退役說明並移除舊工作流程。[2]
原先自述是在5月12日回頭檢查,才注意到系統早已沒有預期的進展。「約七週」描述的是延遲察覺的那段時間,不是它先正常運作七週、然後才失效。
但檔案變空,不會單獨證明之後每一次失敗都由它造成。過長輸入、路徑錯誤、評分或紀錄流程之間的關係,需要對應當時的執行證據;本文沒有重跑整段歷史,也不保證已盤點所有通知管道。
可以留下的教訓是:排程有觸發,不等於有有效結果。若只檢查程序有沒有結束,卻不檢查成果及資料是否完整,就可能讓人誤以為事情還在前進。
三、評分變好,與真正目標變好是另一個問題
我曾把網站可供機器閱讀的檔案與結構納入評分。但這種分數和讀者是否理解、內容是否可靠、合作是否發生,是不同的觀察。
即使某項格式檢查通過,也不能單獨宣告有人因此更願意引用或合作。反過來,沒有取得成效證據,也不等於所有機器可讀設計都沒有價值。
原稿拿llms.txt的觀察推論頂級個人網站不做mutation engine,跨越了證據範圍。本版不保留那個行業總結,也不用一種檔案的研究,證明所有網站優化的天花板。
這層討論是在問評分適不適合目標,不是替3月的檔案截斷找到技術原因。即使程式全部修好,評分的用途仍要另外檢查。
四、不同網站目標,需要不同的比較方法
我把自己的工作分成幾種需要來看:工具是否完成指定任務、文章是否讓人讀懂並有可靠來源、個人網站是否支持我希望建立的關係。
工具可能有完成率或持續使用等觀察方向;內容可以檢查正確性、可讀性與更新。這些是作者建議的設計方向,不表示v0、Builder’s Scorecard或任何具名產品,實際運行著本文描述的自主評分迴圈。
對我而言,合作邀請與信任不一定能很快變成穩定分數。因此,當時那套自動改站的方法是否值得維護,需要和它的成本、風險、其他可做的工作一起判斷。
這是我對自己個案的策略調整,不能證明所有個人網站都不適合自動化。目標和時間尺度不同,就應說明如何比較,而不是先替整個類型作結論。
五、讓不同角度參與,但仍核對它們的說法
在那次檢討裡,我讓不同協作介面分別從概念、工程與檔案紀錄提出意見,再由我收斂並負責取捨。Chat、Cowork、Codex與Code是當時使用的工作角色,Paul就是作為作者的我。
這個安排的用意,是讓不同檢查角度有機會指出遺漏。它不保證各方真的沒有共享盲點,也不能把某個工具永久定義成只會概念、永遠找不到工程事實。
我可以把它稱為自己的多方議事方式,但不能因為有幾個agent提出報告,就說已重現原專案的受控實驗,或是Karpathy認可的正式v2。建議仍要回到檔案、來源與實際結果核對。
我保留的不是模型之間一致就正確的信心,而是一個責任安排:不同意見留得下來,採納什麼由人說明,執行與驗收也有人負責。
六、自動化之前,先問四個可以驗收的問題
若要把相似方法放到下一個工作,我會先問四件事:
- 要改善什麼,評分與真正目標之間還缺哪些證據?
- 哪些修改在授權範圍內,失敗時如何停止或恢復?
- 怎麼知道有有效產出,資料不完整或程序無聲失效時誰會發現?
- 誰核對不同建議、決定採用,並確認實際結果?
這是作者的實務檢查,不是autoresearch的正式版本規格,也不保證自動化或多代理協作必定成功。
退役一次實作,不等於拒絕研究與試驗。我只是希望,下一次不會因為用了很好的術語,就忘了確認系統到底做成了什麼。
對我而言,比會不會自己改網站更重要的,是有沒有一個能看見失敗、核對建議,並對結果負責的工作方式。
資料來源與閱讀界線(查核至2026年11月4日)
- Karpathy,autoresearch README固定版本,commit
228791fb499afffb54b46200aca536f79142f117,2026年3月26日;How it works與Design choices。支持小型單GPU訓練、固定時間與評估方式,不證明網站成效、正式v2或本文協作安排的優越性;未執行專案。 - 本站Git版本紀錄:2026年3月23日的檔案變更(原稿已列
bfacd167),以及5月13日的退役變更。此次核對檔案大小與版本動作;程式庫為私有,未提供公開重現包,也未重新驗證全部執行記錄、通知或故障因果。5月12日察覺與多方檢討保留為作者當時自述,不另補私人對話及會議時數。
修訂說明:本版分清延遲發現、技術故障、評分失配與策略調整,撤下行業全稱、未核對產品迴圈、社群長引語及正式v2的斷言。保留退役與多方核對的經驗,不把它們寫成普遍適用或已完成因果驗證的研究。


💬 留言討論
載入中...