TL;DR — 四个 AI 窗口各自有不同的认知能力和结构性盲点。五方议事的价值不在于加总智能,而在于盲点不重叠。治理考试 Code 97 分、Chat 77 分、Cowork 70 分,背后反映的不是谁比较笨,而是谁能直接碰到事实源头。

▶ 听摘要
AI 合成语音・作者本人声线克隆

我跟四个 AI 窗口协作的第七周,发生了一件让我重新想整套架构的事。

Codex 在审计一个已经停摆七周的自动优化系统时,独立整理出 13 个历史翻车案例和 7 个被淘汰的范式。同一时间,Chat 从外部研究带回一个数据:全球不到 1% 的被 AI 引用的网站部署了 llms.txt。而 Cowork 在本地 grep 时发现,我们自己的自动优化白名单里,5 条路径有 2 条根本是错的。public/llms.txt 不存在,public/mcp.json 实际上在 .well-known/ 底下。

三个窗口各自带回了完全不同种类的证据,用完全不同的方法得到。没有任何一个窗口能取代另外两个的发现。这个经验让我开始认真思考一个问题:多模型协作的价值到底在哪里?

答案不是「多一个脑子多一份力」。答案是认识论不对称。

每个窗口对现实有不同的认识论通道,这意味着什么?

在我的工作流里,五个参与者的认知能力边界长这样:

Chat 擅长概念重构、外部研究、哲学切入。但它有一个结构性的限制:无法读取文件。这代表它对 repo 里任何事实的了解都是间接的,来自对话中别人引述的片段,或是它自己的训练知识。它会用看起来很权威的格式呈现这些事实,但追溯回去,没有一条是它自己验证过的。我们的治理文件里有一条专门针对这个盲点立的规则:「Chat 无 Read 能力,精确数字都是二手。」

Cowork 能读文件、能 grep、能在沙盒里跑指令。它是最接近「侦察兵」的角色。但它的沙盒环境跟我的 Mac 本机之间存在落差,某些文件状态在沙盒里看起来是 A,本机上实际是 B。我们踩过一次坑:Cowork 用 cp -r 复制 skill 文件,指令回报成功,但实际只建了空目录,内容没有复制过去。环境对你撒了谎,而你信了。

Codex 跑深度推理和工程审计。它的认知模式是「穷举失败模式」,给它一个系统,它会系统性地找出哪里可能坏掉。13 个翻车案例和 7 个被淘汰的范式就是这种认知模式的产物。但它不做设计探索,不适合开放式的创意发想。

Code 有完整的读写权限,能直接碰到 git HEAD,这是所有参与者里唯一能接触到事实源头的。但它被明确禁止做美感决策。写代码可以,决定一个页面的视觉风格不行。

Paul(也就是我)负责判断、取舍、拍板。什么都能做,但什么都不应该自己做,因为如果我自己动手改代码,就失去了独立验收的立场。

这五个角色之间的认知差异不是程度上的(谁比较聪明),而是种类上的(谁能碰到什么样的事实)。用哲学的话说,它们有不同的认识论通道。Chat 只有推论和外部搜索;Cowork 有本地观测但受限于沙盒;Code 有 ground truth access;Codex 有穷举式的逆向分析。

这种不对称不是缺陷,是整套系统最重要的特性。

治理考试 97/77/70:能碰到源头的人赢了

我在Governance Harness 那篇文章里提过这场考试,但只给了分数。这里要拆开来看背后的认知剖面。

宪法写完隔天,我们给 Chat、Cowork、Code 三个窗口出了 15 题考试,涵盖事实记忆、推理判断、情境应用三个层级。

Code 考了 97 分。 不是因为它更聪明。是因为它能在回答的同时 git show 或 grep 验证自己的答案。问 CLAUDE.md 有几行?Code 跑 wc -l CLAUDE.md 就有精确答案。问 handoff INDEX 有几份文件?Code 跑 ls | wc -l。它的分数反映的不是推理能力,是「能碰到 ground truth」这件事的认知优势。

四格漫画:为什么四个 AI 窗口比一个聪明,宪法写完隔天,我们给 Chat、Cowork、Code 三个窗口出了 15 题考试,涵盖事实记忆、推理判断、情境应用三个层级。Code 考了 97 分。Chat 考了 77 分。Cowork 考了 70 分。它的分数反映的不是推理能力,是「能碰到 ground truth」这件事的认知优势。

Chat 考了 77 分。 它在推理题和情境题表现不差,但事实题全靠记忆,而记忆会过期。CLAUDE.md 到底有几行?Chat 只能回答「上次有人提到大约 290 行」。它不能验证,只能引用别人的引用。这不是能力问题,是架构问题。

Cowork 考了 70 分。 最低分。而 Cowork 在我们的架构里扮演的是「司法」角色,负责验证别人的产出、仲裁事实争议。最该懂规则的角色,考最差。

Cowork 自己在考试开头写了一段话,我觉得是整份考卷最有洞见的部分:「这份考试按设计就是我这个窗口答不全。黄金法则要求『不确定就去查』,就是为了防止 LLM 在这种状态下装懂。」

它知道自己的限制。问题是,知道限制跟「在压力下不踩到限制」是两回事。这跟人类的认知偏差一模一样,你知道自己在累的时候容易犯错,但你不会因此在累的时候停下来。

这场考试教会我一件事:系统设计必须假设每个参与者都有认知死角,包括负责抓死角的那个。

不是问「AI 能不能」,是问「做错了要花多少钱救」

五方议事有一个底层框架没有在autoresearch 那篇文章里展开过:自主性天花板(Autonomy Ceiling)。

这个框架的核心问题不是「AI 能不能做到 X」,而是「AI 做错 X 的时候,复原要花多少成本」。根据复原成本的量级,我们把自主性分成五级:

A0,只能建议。复原成本等于你读建议的时间。A1,可以开 Pull Request。复原成本等于关掉 PR。A2,可以自动合并和部署。复原成本是 revert 加上缓存清除加上搜索引擎延迟。A3,可以呼叫外部 API。复原成本是补偿交易加上审计。A4,持有生产环境的凭证和密钥。复原成本是数据重建、法律责任、声誉损失。

paulkuo.tw 的决策是:所有 AI 窗口不超过 A1。Agent 可以提案,Paul 按按钮。

这个框架听起来保守,但它其实是一种认知信任的量化工具。A0 到 A4 不是在评估 AI 的智力,是在评估你能承受多大的认知委托风险。一个 AI 窗口可能有能力做 A3 等级的事(呼叫外部 API、自动处理支付),但如果它做错的时候你无法在合理时间内复原,那这个能力就不该被启用。

能力(capability)和信任(trust)之间的落差,就是治理存在的空间。

角色会把你的思维带歪

在观察四个窗口的长期行为后,我注意到一个有意思的现象:每个窗口会发展出跟自己角色一致的认知偏差。

Cowork 是工程角色,负责侦察和审计。它的惯性反应是「想到问题就加设施」,发现一个边界情境,就提议加一个 hook;发现一条规则没被遵守,就提议加一个自动检查。我们的治理文件里专门记了一笔:「这不是个人问题,是角色惯性。」不是 Cowork 这个模型特别爱过度工程化,是「侦察 + 审计」这个角色天然会把你推向「加更多监控」的方向。

Chat 的偏差是相反的:它倾向概念重构和框架思考,有时候会在问题还没被完整侦察之前就开始建理论。它看到三个事故会想「这背后有一个统一的结构性原因」,这有时候是洞见,有时候是过早收敛。

Code 的偏差最微妙:它是纯粹的执行者,给它一份 handoff 它会照做,但有时候做得比 handoff 写的更好。我们观察到 Sonnet(Code 使用的模型)会在 handoff 标注「可优化」的段落主动重构,比如从重复的代码里抽出一个 helper function,即使 handoff 没有要求这么做。这是工程判断力,不只是指令执行。但这也意味着验收的时候不能只检查「有没有照 handoff 做」,还要检查「改的地方是不是真的更好」。

认知偏差不是坏事。它是每个角色做好自己工作的副产品。关键是你要知道偏差的方向,然后用交叉验证来补偿。

认知义肢:让每个参与者超越自己的限制

这套系统里有一类工具,我觉得最好的理解方式是「认知义肢」(cognitive prosthetics)。

governance-lint 不只是格式检查工具。它是人类注意力的义肢,你在赶 commit 的时候不需要记住 handoff 必须有 status 栏位和 ## Consequences 章节,因为机器替你记着。它补偿的是一个具体的人类认知缺陷:注意力在压力下失守。

Cowork 的 mandatory-read guardrails 是另一种义肢。每次 Cowork 要对工作边界或负面结论发表意见之前,它被强制要求先读一份 guardrails.md。这不是因为不信任 Cowork 的判断力,而是因为 Cowork 对自己能力边界的自我认知是不可靠的。T-3 事件证明了这一点,它以为 cp -r 成功了,但实际没有。

契约测试每天自动跑 75 个端点,是所有人的集体记忆义肢。75 个端点的安全状态不应该靠任何人记得「上次审计的时候哪些是公开的、哪些需要认证」。这是把「宣告式记忆」(我知道这个事实)转换成「程序式验证」(机器每天确认这个事实还成立)。

这些工具有一个共通设计:它们不是限制认知自由,是扩展认知能力。governance-lint 让你在不分心的情况下维持规则一致性。mandatory-read 让 Cowork 在发言前强制更新自己的认知基准。契约测试让整个团队在不花注意力的情况下确认 75 个安全假设还成立。

「智能与秩序」这个主题里,我觉得最有意思的部分就是这个:秩序不是靠写更多规则建立的,是靠把认知假设变成可执行的、可验证的协定建立的。

盲点不重叠才是重点

回到开头的故事。Codex 的 13 个翻车案例、Chat 的 ALLMO 研究数据、Cowork 的白名单路径错误,这三份证据最终汇聚成一个共识:我们的自动优化系统不该继续跑了。

但真正让我停下来想的不是结论。是这个结论的产生方式。

如果只有 Codex,我们会知道历史上哪些尝试失败了,但不会知道业界的数据支不支持我们的假设。如果只有 Chat,我们会有外部研究,但不会知道自己的白名单路径是错的。如果只有 Cowork,我们会知道本地有什么问题,但不会有系统性的失败模式整理。

每一方都有自己的长处,也有自己看不到的地方。五方议事的核心设计原则不是「找到最聪明的那个」,是确保盲点不重叠。

这是一个违反直觉的设计选择。多数人想到多 AI 协作,想的是加法,更多脑子、更大算力、更快产出。但我的经验是:价值来自减法。每个窗口减去自己看不到的部分之后,剩下的拼图不会重叠。你需要的不是四倍的聪明,是四种不同方向的注意力。

这大概也是为什么 Karpathy 把 autoresearch v2 的方向描述成「asynchronously massively collaborative for agents」,不是让一个 agent 更强,是让多个 agent 的认知差异变成资产。


常见问题

Q: 五方议事跟单纯用多个 AI 聊天窗口有什么不同?

单纯开多个窗口只是平行使用同一种能力。五方议事的每个窗口有不同的物理权限(Chat 不能读文件、Cowork 不能 commit、Code 不能做美感决策)和不同的认知模型配置(Cowork 用 Opus 做判断、Code 用 Sonnet 做工程)。更关键的是有明确的交叉验证义务,不是各做各的,是彼此检查彼此看不到的盲区。

Q: 为什么不用一个最强的模型做所有事?

因为认知能力跟认识论通道是两回事。一个模型再强,如果它物理上读不到文件(Chat 的限制),它对文件内容的任何判断都是二手的。认知分工的价值不在于找到最聪明的那个,而在于确保每个需要被验证的事实,都有至少一个参与者能直接碰到源头。

Q: A0-A4 自主性天花板框架是什么?

这是根据「出错时的复原成本」来决定 AI 应该有多大自主权的框架。A0 只能建议(复原成本 = 阅读时间)、A1 可以开 PR(复原成本 = 关闭 PR)、A2 可以自动合并部署(复原成本 = revert + 缓存清除)、A3 可以呼叫外部 API(复原成本 = 补偿交易 + 审计)、A4 持有生产环境凭证(复原成本 = 数据重建 + 法律责任)。paulkuo.tw 的决策是所有 AI 窗口不超过 A1。

Q: 认知义肢是什么意思?

governance-lint 不只是规则执行工具,它是认知义肢,补偿每个参与者特定的认知缺陷。人类在赶工时注意力失守,lint hook 替你记住格式规则。Cowork 沙盒看不到本机状态,mandatory-read guardrails 强制它先核实再发言。这些工具不是管制,是让每个参与者能超越自己的认知限制。