TL;DR — 四个 AI 窗口各自有不同的认知能力和结构性盲点。五方议事的价值不在于加总智能,而在于盲点不重叠。治理考试 Code 97 分、Chat 77 分、Cowork 70 分,背后反映的不是谁比较笨,而是谁能直接碰到事实源头。
我跟四个 AI 窗口协作的第七周,发生了一件让我重新想整套架构的事。
Codex 在审计一个已经停摆七周的自动优化系统时,独立整理出 13 个历史翻车案例和 7 个被淘汰的范式。同一时间,Chat 从外部研究带回一个数据:全球不到 1% 的被 AI 引用的网站部署了 llms.txt。而 Cowork 在本地 grep 时发现,我们自己的自动优化白名单里,5 条路径有 2 条根本是错的——public/llms.txt 不存在,public/mcp.json 实际上在 .well-known/ 底下。
三个窗口各自带回了完全不同种类的证据,用完全不同的方法得到。没有任何一个窗口能取代另外两个的发现。这个经验让我开始认真思考一个问题:多模型协作的价值到底在哪里?
答案不是「多一个脑子多一份力」。答案是认识论不对称。
每个窗口对现实有不同的认识论通道,这意味着什么?
在我的工作流里,五个参与者的认知能力边界长这样:
Chat 擅长概念重构、外部研究、哲学切入。但它有一个结构性的限制:无法读取文件。这代表它对 repo 里任何事实的了解都是间接的——来自对话中别人引述的片段,或是它自己的训练知识。它会用看起来很权威的格式呈现这些事实,但追溯回去,没有一条是它自己验证过的。我们的治理文件里有一条专门针对这个盲点立的规则:「Chat 无 Read 能力,精确数字都是二手。」
Cowork 能读文件、能 grep、能在沙盒里跑指令。它是最接近「侦察兵」的角色。但它的沙盒环境跟我的 Mac 本机之间存在落差——某些文件状态在沙盒里看起来是 A,本机上实际是 B。我们踩过一次坑:Cowork 用 cp -r 复制 skill 文件,指令回报成功,但实际只建了空目录,内容没有复制过去。环境对你撒了谎,而你信了。
Codex 跑深度推理和工程审计。它的认知模式是「穷举失败模式」——给它一个系统,它会系统性地找出哪里可能坏掉。13 个翻车案例和 7 个被淘汰的范式就是这种认知模式的产物。但它不做设计探索,不适合开放式的创意发想。
Code 有完整的读写权限,能直接碰到 git HEAD——这是所有参与者里唯一能接触到事实源头的。但它被明确禁止做美感决策。写代码可以,决定一个页面的视觉风格不行。
Paul(也就是我)负责判断、取舍、拍板。什么都能做,但什么都不应该自己做——因为如果我自己动手改代码,就失去了独立验收的立场。
这五个角色之间的认知差异不是程度上的(谁比较聪明),而是种类上的(谁能碰到什么样的事实)。用哲学的话说,它们有不同的认识论通道。Chat 只有推论和外部搜索;Cowork 有本地观测但受限于沙盒;Code 有 ground truth access;Codex 有穷举式的逆向分析。
这种不对称不是缺陷,是整套系统最重要的特性。
治理考试 97/77/70:能碰到源头的人赢了
我在Governance Harness 那篇文章里提过这场考试,但只给了分数。这里要拆开来看背后的认知剖面。
宪法写完隔天,我们给 Chat、Cowork、Code 三个窗口出了 15 题考试,涵盖事实记忆、推理判断、情境应用三个层级。
Code 考了 97 分。 不是因为它更聪明。是因为它能在回答的同时 git show 或 grep 验证自己的答案。问 CLAUDE.md 有几行?Code 跑 wc -l CLAUDE.md 就有精确答案。问 handoff INDEX 有几份文件?Code 跑 ls | wc -l。它的分数反映的不是推理能力,是「能碰到 ground truth」这件事的认知优势。
Chat 考了 77 分。 它在推理题和情境题表现不差,但事实题全靠记忆——而记忆会过期。CLAUDE.md 到底有几行?Chat 只能回答「上次有人提到大约 290 行」。它不能验证,只能引用别人的引用。这不是能力问题,是架构问题。
Cowork 考了 70 分。 最低分。而 Cowork 在我们的架构里扮演的是「司法」角色——负责验证别人的产出、仲裁事实争议。最该懂规则的角色,考最差。
Cowork 自己在考试开头写了一段话,我觉得是整份考卷最有洞见的部分:「这份考试按设计就是我这个窗口答不全。黄金法则要求『不确定就去查』,就是为了防止 LLM 在这种状态下装懂。」
它知道自己的限制。问题是,知道限制跟「在压力下不踩到限制」是两回事。这跟人类的认知偏差一模一样——你知道自己在累的时候容易犯错,但你不会因此在累的时候停下来。
这场考试教会我一件事:系统设计必须假设每个参与者都有认知死角,包括负责抓死角的那个。
不是问「AI 能不能」,是问「做错了要花多少钱救」
五方议事有一个底层框架没有在autoresearch 那篇文章里展开过:自主性天花板(Autonomy Ceiling)。
这个框架的核心问题不是「AI 能不能做到 X」,而是「AI 做错 X 的时候,复原要花多少成本」。根据复原成本的量级,我们把自主性分成五级:
A0,只能建议。复原成本等于你读建议的时间。A1,可以开 Pull Request。复原成本等于关掉 PR。A2,可以自动合并和部署。复原成本是 revert 加上缓存清除加上搜索引擎延迟。A3,可以呼叫外部 API。复原成本是补偿交易加上审计。A4,持有生产环境的凭证和密钥。复原成本是数据重建、法律责任、声誉损失。
paulkuo.tw 的决策是:所有 AI 窗口不超过 A1。Agent 可以提案,Paul 按按钮。
这个框架听起来保守,但它其实是一种认知信任的量化工具。A0 到 A4 不是在评估 AI 的智力,是在评估你能承受多大的认知委托风险。一个 AI 窗口可能有能力做 A3 等级的事(呼叫外部 API、自动处理支付),但如果它做错的时候你无法在合理时间内复原,那这个能力就不该被启用。
能力(capability)和信任(trust)之间的落差,就是治理存在的空间。
角色会把你的思维带歪
在观察四个窗口的长期行为后,我注意到一个有意思的现象:每个窗口会发展出跟自己角色一致的认知偏差。
Cowork 是工程角色,负责侦察和审计。它的惯性反应是「想到问题就加设施」——发现一个边界情境,就提议加一个 hook;发现一条规则没被遵守,就提议加一个自动检查。我们的治理文件里专门记了一笔:「这不是个人问题,是角色惯性。」不是 Cowork 这个模型特别爱过度工程化,是「侦察 + 审计」这个角色天然会把你推向「加更多监控」的方向。
Chat 的偏差是相反的:它倾向概念重构和框架思考,有时候会在问题还没被完整侦察之前就开始建理论。它看到三个事故会想「这背后有一个统一的结构性原因」——这有时候是洞见,有时候是过早收敛。
Code 的偏差最微妙:它是纯粹的执行者,给它一份 handoff 它会照做,但有时候做得比 handoff 写的更好。我们观察到 Sonnet(Code 使用的模型)会在 handoff 标注「可优化」的段落主动重构——比如从重复的代码里抽出一个 helper function,即使 handoff 没有要求这么做。这是工程判断力,不只是指令执行。但这也意味着验收的时候不能只检查「有没有照 handoff 做」,还要检查「改的地方是不是真的更好」。
认知偏差不是坏事。它是每个角色做好自己工作的副产品。关键是你要知道偏差的方向,然后用交叉验证来补偿。
认知义肢:让每个参与者超越自己的限制
这套系统里有一类工具,我觉得最好的理解方式是「认知义肢」(cognitive prosthetics)。
governance-lint 不只是格式检查工具。它是人类注意力的义肢——你在赶 commit 的时候不需要记住 handoff 必须有 status 栏位和 ## Consequences 章节,因为机器替你记着。它补偿的是一个具体的人类认知缺陷:注意力在压力下失守。
Cowork 的 mandatory-read guardrails 是另一种义肢。每次 Cowork 要对工作边界或负面结论发表意见之前,它被强制要求先读一份 guardrails.md。这不是因为不信任 Cowork 的判断力,而是因为 Cowork 对自己能力边界的自我认知是不可靠的——T-3 事件证明了这一点(它以为 cp -r 成功了,但实际没有)。
契约测试每天自动跑 75 个端点,是所有人的集体记忆义肢。75 个端点的安全状态不应该靠任何人记得「上次审计的时候哪些是公开的、哪些需要认证」。这是把「宣告式记忆」(我知道这个事实)转换成「程序式验证」(机器每天确认这个事实还成立)。
这些工具有一个共通设计:它们不是限制认知自由,是扩展认知能力。governance-lint 让你在不分心的情况下维持规则一致性。mandatory-read 让 Cowork 在发言前强制更新自己的认知基准。契约测试让整个团队在不花注意力的情况下确认 75 个安全假设还成立。
「智能与秩序」这个主题里,我觉得最有意思的部分就是这个:秩序不是靠写更多规则建立的,是靠把认知假设变成可执行的、可验证的协定建立的。
盲点不重叠才是重点
回到开头的故事。Codex 的 13 个翻车案例、Chat 的 ALLMO 研究数据、Cowork 的白名单路径错误——这三份证据最终汇聚成一个共识:我们的自动优化系统不该继续跑了。
但真正让我停下来想的不是结论。是这个结论的产生方式。
如果只有 Codex,我们会知道历史上哪些尝试失败了,但不会知道业界的数据支不支持我们的假设。如果只有 Chat,我们会有外部研究,但不会知道自己的白名单路径是错的。如果只有 Cowork,我们会知道本地有什么问题,但不会有系统性的失败模式整理。
每一方都有自己的长处,也有自己看不到的地方。五方议事的核心设计原则不是「找到最聪明的那个」,是确保盲点不重叠。
这是一个违反直觉的设计选择。多数人想到多 AI 协作,想的是加法——更多脑子、更大算力、更快产出。但我的经验是:价值来自减法。每个窗口减去自己看不到的部分之后,剩下的拼图不会重叠。你需要的不是四倍的聪明,是四种不同方向的注意力。
这大概也是为什么 Karpathy 把 autoresearch v2 的方向描述成「asynchronously massively collaborative for agents」——不是让一个 agent 更强,是让多个 agent 的认知差异变成资产。
常见问题
Q: 五方议事跟单纯用多个 AI 聊天窗口有什么不同?
单纯开多个窗口只是平行使用同一种能力。五方议事的每个窗口有不同的物理权限(Chat 不能读文件、Cowork 不能 commit、Code 不能做美感决策)和不同的认知模型配置(Cowork 用 Opus 做判断、Code 用 Sonnet 做工程)。更关键的是有明确的交叉验证义务——不是各做各的,是彼此检查彼此看不到的盲区。
Q: 为什么不用一个最强的模型做所有事?
因为认知能力跟认识论通道是两回事。一个模型再强,如果它物理上读不到文件(Chat 的限制),它对文件内容的任何判断都是二手的。认知分工的价值不在于找到最聪明的那个,而在于确保每个需要被验证的事实,都有至少一个参与者能直接碰到源头。
Q: A0-A4 自主性天花板框架是什么?
这是根据「出错时的复原成本」来决定 AI 应该有多大自主权的框架。A0 只能建议(复原成本 = 阅读时间)、A1 可以开 PR(复原成本 = 关闭 PR)、A2 可以自动合并部署(复原成本 = revert + 缓存清除)、A3 可以呼叫外部 API(复原成本 = 补偿交易 + 审计)、A4 持有生产环境凭证(复原成本 = 数据重建 + 法律责任)。paulkuo.tw 的决策是所有 AI 窗口不超过 A1。
Q: 认知义肢是什么意思?
governance-lint 不只是规则执行工具,它是认知义肢——补偿每个参与者特定的认知缺陷。人类在赶工时注意力失守,lint hook 替你记住格式规则。Cowork 沙盒看不到本机状态,mandatory-read guardrails 强制它先核实再发言。这些工具不是管制,是让每个参与者能超越自己的认知限制。
💬 留言讨论
加载中...