看到 Andrej Karpathy 的 autoresearch时,我想到自己的网站。如果把目标、修改范围、评估与撤回方式先定清楚,能不能让 AI 协助一轮轮尝试,再由结果决定下一步?

那个专案以小型模型训练为场景,让 agent 在受限的程式与评估设定中反复实验。我借用的是这种做法,没有把它直接搬成网站系统,更不能由此推论网站会自主证明自己变好。

以下是我在 2026 年三月设计网站实验的经验。回头看,最值得留下的,不是「自己进化」的想像,而是分数上升之后,仍愿意问:它究竟改善了什么?

多一个资讯入口,也多一层检查

AI 介面让读者多了一种接近文章的方式:有人先看模型的整理,再回到原文;有人透过带有搜寻与引用的回答,第一次找到网站。

这没有把搜寻引擎、读者体验或 SEO 变成次要的工作。对我而言,AI 可读性是新增的一层:文章是否容易辨识,日期与来源是否清楚,工具取回后有没有误解。

JSON-LD 与 llms.txt 可以是整理网站资讯的做法,但档案存在,不表示每个模型都会读取,也不保证摘要、引用或连结正确。MCP、A2A 等介面的结构检查,同样不能直接代表外部工具使用成功。

我想做的,是让这些问题可以反复观察,而不是替网站加上几个栏位,就宣布它已经被 AI 理解。

把自动实验回圈的想法搬到网站

当时的设计,是由排程或人工触发一次实验:提出小范围修改,检查允许变动的档案,套用到网站后跑评估,再决定保留或撤回,并把结果写进纪录。

我安排的内部评分,包含网站说明、结构化资料、agent 介面,以及模型回答网站相关问题的表现。这些项目把模糊的「AI-Ready」拆成几件比较容易检查的事。

依我当时的纪录,第一轮分数从 65 变成 85。它让我看到流程能回传结果,却还没有回答:网站是否更好用?外部读者或工具是否真的更容易找到并理解内容?

这也是为什么,修改范围、评估结果与能否撤回,要一起看。把流程自动接起来,只完成了实验的一部分。

自己考自己,分数再高也要回头看

后来三轮端到端尝试,agent 反复选择帮文章加 FAQ,评分没有变,三轮变更都被撤回。回头看,agent 并没有清楚理解评分的依据;我也还没有把它真正需要改善的问题表达好。

但问题不只在提示怎么写。

我定义指标,让 agent 依指标修改,再用同一套指标评估,形成了一个封闭的回馈。分数能告诉我是否符合这套规则,却不能自行证明规则真的代表读者需要。

增加 FAQ 可能符合某个检查项目,但内容是否有用、是否忠实,仍要另外判断。即使每次评分都顺利完成,也不能把无效的变更累积成有效的优化。

因此,内部流程通过与外部结果改善,需要分开保留证据。

让外部 AI 提供另一种观察

我接着设计了 13 题问题,涵盖身分、内容、跨域连结、时效与技术特色,也包含三题检查模型会不会编造答案的题目,再用 Perplexity 观察它如何从公开网路回答。

这比只看内部评分多了一个角度,却不是 ground truth。回答可能受到模型、提示、搜寻结果、索引更新与时间影响。前一次答不出来、后一次答出来,还不能单靠这个先后顺序,证明是网站修改造成改善。

我当时先重复量了 10 次,记录的平均分是 50.63,标准差是 5.86。两倍标准差是 11.72,算术没有问题;但把它当作描述那批波动的暂定观察带,和把它当成统计显著性的门槛,是两回事。

小于这个差值,不等于没有改善;大于它,也不表示已经证明改善。这十次量测,还不足以替不同题目、不同日期或不同模型建立通用的判断线。

我也安排每天收集回答,想累积跨日基准。五天的资料可以让我多看见一些变化,却不能把检索、模型与网站改动的影响自动分开。排程有没有跑、回应是否完整、来源有没有变,都仍要确认;缺资料时,应保留未知,而不是填成零分。

更接近结果的问题是:答案是否符合原文?引用能不能支持那句话?换一个问法或工具后,原本的改善还看不看得到?

不急着让新指标主导决策

当时,我把外部回应这一层设为 observe-only:先记录,不直接决定保留或撤回。

我曾把累积 20 轮设为下一个检视点。那是工作安排,不是经过验证的最低样本数。若要谈 false positive 或 false negative,还必须先定义什么算改善、由谁核对,以及判断的参考答案从哪里来。

我仍然喜欢这种小范围的回圈:做一点变动,留下版本,观察,再修正。但自动化不能替我选好指标,也不能替我承担内容与发布的责任。

有相关工程能力的人,可以从容易验收、能撤回的小实验开始。成本、权限与维护负担则要按自己的环境看,不能由这次个人实作,推成每个人都能低成本完成的保证。

至于未来的数位分身会不会带着这样的演化框架,仍是我想继续探索的问题。现在能做的,是把每一轮改了什么、看到了什么、还不知道什么,交代清楚。

系统设计的范围

下面整理的是当时的设计思路,不能当成目前正式环境已重新执行的验收。

面向autoresearch 给我的灵感我在网站实验中需要另外处理的事
目标在受限的训练设定中比较结果先定义希望改善哪一种阅读或取用问题
修改范围限制 agent 能改的程式限定档案、内容与发布权限,保留人工确认
评估依设定的训练指标比较区分结构检查、模型回答与实际内容正确性
结果处理保留或舍弃一次尝试留下版本与依据,确认撤回方式真的可用
外部观察原专案不是网站效果测试对照回答与原文,追踪来源与跨日变化

这张表提醒我:借到一个好方法,还需要替自己的问题补上判断。

我希望网站能持续变得更容易理解。至于每一次修改有没有往那里走,不能只让分数替我回答。

四格漫画:分数上升之后,仍愿意问:它究竟改善了什么?档案存在,不表示每个模型都会读取,也不保证摘要、引用或连结正确。内部流程通过与外部结果改善,需要分开保留证据。前一次答不出来、后一次答出来,还不能单靠这个先后顺序,证明是网站修改造成改善。小于这个差值,不等于没有改善;大于它,也不表示已经证明改善。至于每一次修改有没有往那里走,不能只让分数替我回答。

**2026 年 11 月修订:**保留三月的实验设计与作者纪录数字,厘清内部评分、外部回应与小样本统计各自能支持的范围。