一套每天会自动执行的系统,如果早就不再产生有效结果,我们要怎么发现?
我曾希望网站能自己修改设定、自己评分,再保留比较好的版本。后来的检讨让我重新考虑:除了修理程序,我还需要问,那个分数到底离我真正想要的成果有多远。
这篇保留那次退役的教训,但把技术故障、评分设计与个人网站的方向分开。不把一次个案推成所有网站的定律,也不把多个AI参与讨论命名为别人研究的正式新版。
TL;DR:autoresearch可以启发「提出修改、试验、评估、保留或舍弃」的工作方式。本站曾尝试用类似方式改站,却留下文件截断与有效产出监控的问题;可核对的版本变更不等于完整执行根因。另一个问题是代理评分能否反映网站真正成果,第三个才是作者的策略选择。多方独立检查、由人核对与拍板,是我选择的协作安排,不是已验证的autoresearch v2。
一、先把autoresearch与几个术语说清楚
在本文查阅的Karpathy项目固定版本里,autoresearch让agent修改一个小型语言模型的训练程序,在固定五分钟训练预算下测量结果,再决定保留或舍弃;该时间不含启动与编译。它使用单一GPU设定与特定验证指标。[1]
这里的mutation是一次候选修改,reward是用来判断好坏的回馈。模型验证指标有明确用途,不能因此保证换成网站分数,也会改善网站的所有目标。
我曾把相似想法放到本站:让系统对指定站台文件提出修改、建置与评分。这是我的网站实作,不是原项目已替个人品牌验证过的方法。
本文不重建原项目最初发布日,也不以未核对的社群贴文长引语建立正式v1、v2的版本关系。借用方法,仍须说明借用了什么、改变了什么。
二、先处理技术纪录,不用策略故事代替故障调查
本次核对本站Git版本纪录,可以确认2026年3月23日的一次变更,把experiments.json从有内容改成0 bytes;5月13日的退役变更则移动旧目录、加上退役说明并移除旧工作流程。[2]
原先自述是在5月12日回头检查,才注意到系统早已没有预期的进展。「约七周」描述的是延迟察觉的那段时间,不是它先正常运作七周、然后才失效。
但文件变空,不会单独证明之后每一次失败都由它造成。过长输入、路径错误、评分或纪录流程之间的关系,需要对应当时的执行证据;本文没有重跑整段历史,也不保证已盘点所有通知管道。
可以留下的教训是:排程有触发,不等于有有效结果。若只检查程序有没有结束,却不检查成果及数据是否完整,就可能让人误以为事情还在前进。
三、评分变好,与真正目标变好是另一个问题
我曾把网站可供机器阅读的文件与结构纳入评分。但这种分数和读者是否理解、内容是否可靠、合作是否发生,是不同的观察。
即使某项格式检查通过,也不能单独宣告有人因此更愿意引用或合作。反过来,没有取得成效证据,也不等于所有机器可读设计都没有价值。
原稿拿llms.txt的观察推论顶级个人网站不做mutation engine,跨越了证据范围。本版不保留那个行业总结,也不用一种文件的研究,证明所有网站优化的天花板。
这层讨论是在问评分适不适合目标,不是替3月的文件截断找到技术原因。即使程序全部修好,评分的用途仍要另外检查。
四、不同网站目标,需要不同的比较方法
我把自己的工作分成几种需要来看:工具是否完成指定任务、文章是否让人读懂并有可靠来源、个人网站是否支持我希望建立的关系。
工具可能有完成率或持续使用等观察方向;内容可以检查正确性、可读性与更新。这些是作者建议的设计方向,不表示v0、Builder’s Scorecard或任何具名产品,实际运行着本文描述的自主评分回圈。
对我而言,合作邀请与信任不一定能很快变成稳定分数。因此,当时那套自动改站的方法是否值得维护,需要和它的成本、风险、其他可做的工作一起判断。
这是我对自己个案的策略调整,不能证明所有个人网站都不适合自动化。目标和时间尺度不同,就应说明如何比较,而不是先替整个类型作结论。
五、让不同角度参与,但仍核对它们的说法
在那次检讨里,我让不同协作界面分别从概念、工程与文件纪录提出意见,再由我收敛并负责取舍。Chat、Cowork、Codex与Code是当时使用的工作角色,Paul就是作为作者的我。
这个安排的用意,是让不同检查角度有机会指出遗漏。它不保证各方真的没有共享盲点,也不能把某个工具永久定义成只会概念、永远找不到工程事实。
我可以把它称为自己的多方议事方式,但不能因为有几个agent提出报告,就说已重现原项目的受控实验,或是Karpathy认可的正式v2。建议仍要回到文件、来源与实际结果核对。
我保留的不是模型之间一致就正确的信心,而是一个责任安排:不同意见留得下来,采纳什么由人说明,执行与验收也有人负责。
六、自动化之前,先问四个可以验收的问题
若要把相似方法放到下一个工作,我会先问四件事:
- 要改善什么,评分与真正目标之间还缺哪些证据?
- 哪些修改在授权范围内,失败时如何停止或恢复?
- 怎么知道有有效产出,数据不完整或程序无声失效时谁会发现?
- 谁核对不同建议、决定采用,并确认实际结果?
这是作者的实务检查,不是autoresearch的正式版本规格,也不保证自动化或多代理协作必定成功。
退役一次实作,不等于拒绝研究与试验。我只是希望,下一次不会因为用了很好的术语,就忘了确认系统到底做成了什么。
对我而言,比会不会自己改网站更重要的,是有没有一个能看见失败、核对建议,并对结果负责的工作方式。
数据来源与阅读界线(查核至2026年11月4日)
- Karpathy,autoresearch README固定版本,commit
228791fb499afffb54b46200aca536f79142f117,2026年3月26日;How it works与Design choices。支持小型单GPU训练、固定时间与评估方式,不证明网站成效、正式v2或本文协作安排的优越性;未执行项目。 - 本站Git版本纪录:2026年3月23日的文件变更(原稿已列
bfacd167),以及5月13日的退役变更。此次核对文件大小与版本动作;程序库为私有,未提供公开重现包,也未重新验证全部执行记录、通知或故障因果。5月12日察觉与多方检讨保留为作者当时自述,不另补私人对话及会议时数。
修订说明:本版分清延迟发现、技术故障、评分失配与策略调整,撤下行业全称、未核对产品回圈、社群长引语及正式v2的断言。保留退役与多方核对的经验,不把它们写成普遍适用或已完成因果验证的研究。


💬 留言讨论
加载中...