# 爆红的「Google 两小时 Harness 课」原片在这里：agent 越改越好还是越偏，看裁判

> 2026 年 11 月一则 X 帖子说 Google 刚放出近 2 小时的免费 Harness 工程课。原片其实是两支：Google Cloud Tech 9 分 27 秒的短片，和讲者 Annie Wang 个人频道 1 小时 25 分的直播；帖子的章节标题是重新取的，「Chief of Staff」「7×24 无人值守」在原片字幕里找不到。文中嵌入两支原片、附章节对照，并整理直播里的示范：裁判选错，自我改进的 agent 可能往错的方向走。

- Author: Paul Kuo（郭曜郎）
- Date: 2026-11-21
- Pillar: 智能与秩序 / Intelligence & Order
- Tags: Harness Engineering, Agent 评估, LLM-as-a-Judge, Google ADK, 自我改进 Agent, 事实查核, AI Agent
- Canonical: https://paulkuo.tw/zh-cn/articles/harness-course-pick-the-judge/
- Language: Simplified Chinese (简体中文)
- Translation: AI-translated from the zh-Hant (Traditional Chinese) original
- Original (zh-Hant): https://paulkuo.tw/articles/harness-course-pick-the-judge.md
- Site index for LLMs: https://paulkuo.tw/llms.txt

---

> **TL;DR** — 11 月中，一则爆红帖子说 Google 刚放出一门近 2 小时的免费 Harness 工程课。往回追，这支约 1 小时 35 分的视频是两段拼起来的：
>
> - **前 9 分钟**：Google Cloud Tech 10 月 22 日发布的短片〈AI harness crash course〉。
> - **后面约 85 分钟**：讲者 Annie Wang 10 月 14 日在个人频道的直播〈Agent 102: Agent Evaluation + Self Evolving〉。帖子列的章节标题是重新取的，「Chief of Staff」和「7×24 无人值守」在原片字幕里都找不到。
> - **原片的重点在评估**：她用订晚餐的 agent 说明，自我改进的循环靠裁判的分数决定往哪里改；裁判只看餐厅评分，系统可能往错的方向走。
> - **文中嵌入两支原片**：附流传版章节对到原片的时间点，以及一份半小时的看法。

11 月 19 日晚上，Hux（@huxlab）在 X 上发了一则中文帖子，说 Google 刚放出一门近 2 小时的 Harness 工程完整课，可以从零搭出一套 7×24 小时自己进化的 agent 系统。它把课程拆成四层：先搭 harness 底座，再做 eval 工程，接着跑通 loop，最后是一个把真实失败自动变成下一轮考题的自进化图系统。结尾说，这套把「看起来对」变成「验证过、而且能自己变好」的功夫，以前是顶级团队压箱底的心法。我看到的时候，它有 13.7 万次观看。

我想看这门课，就请 agent 沿着帖子往回找。找到的原片有两段，比较长的那段是一场直播，到 11 月 20 日有 2,755 次观看。

## 这门「Google 两小时 Harness 课」从哪里来？

Hux 这则转引的是 rob.（@robiartec）11 月 18 日的西班牙文帖子。两则的核心说法相同：Google 刚推出两小时的免费课、五个章节、比五百美元的课还值得。「7×24 无人值守」「同一个模型差好几倍」和四层架构，是 Hux 这则另外加的。rob. 的帖子直接附了一支视频，长 1 小时 35 分 11 秒，帖子里的五个时间点可以点进去跳，60 万次观看就是这则带片帖子累积的。底下有人贴了一个 YouTube 链接，是 Google Cloud Tech 频道的〈[AI harness crash course](https://www.youtube.com/watch?v=2C_CefSQEAQ)〉，只有 9 分 27 秒。

长度对不上，所以再往下找。YouTube 上 11 月 13 日已经有一支转传视频〈Google Just Released a FREE 2-Hour Harness Engineering Masterclass〉，长度跟 rob. 附的视频相同，说明栏已经写了同样的五个章节，也写了五百美元那句。上传的频道只有 7 位订阅者。这是我找到最早的拼接版本，不一定是源头。

对过逐字稿，这支视频由两段组成。前 9 分多钟是〈AI harness crash course〉，Google Cloud Tech 10 月 22 日发布，讲者是 Google Cloud 软件工程师 Annie Wang。后面约 85 分钟，是 Annie Wang 10 月 14 日在自己频道播出的直播〈[Agent 102: Agent Evaluation + Self Evolving](https://www.youtube.com/watch?v=fmPkXi4gRUM)〉，原长 1 小时 25 分 53 秒。这是她每周一场的 agent 系列直播工作坊，边操作边讲。中间遇到 API 配额错误，有一段评估改用先前跑过的结果；ADK optimize 太花时间，也改用预先准备的指令。

| 帖子的说法 | 出自 | 查到的原片 |
| --- | --- | --- |
| Google 刚刚放出 | 两则都有 | 短片 10 月 22 日由 Google Cloud Tech 发布；直播 10 月 14 日在讲者个人频道播出；拼接版我找到最早是 11 月 13 日 |
| 近 2 小时的完整课 | 两则都有 | 9 分 27 秒短片，加上 1 小时 25 分 53 秒直播，合计约 1 小时 35 分 |
| 五个章节：从零搭 harness、第一个 agent、Chief of Staff 评测、Loop 工程、自我改进的图系统 | rob.；11 月 13 日的 YouTube 说明栏已经有 | 章节标题是重新取的；原片的章节，以及这五个时间点对到原片哪里，见下一节 |
| 用 Chief of Staff（幕僚长）的标准定义什么叫好 | 两则都有（rob. 写在章节标题里） | 两段字幕都找不到 chief 或 staff；直播的评估范例是替五个朋友订晚餐 |
| 7×24 无人值守的自进化图系统 | Hux | 示范的是用 router 接回去的改进循环；讲到正式环境时，讲者说当天的实作不包含这部分 |
| 同一个模型，外层不同，产出差好几倍 | Hux | 两段字幕都没找到这个说法 |

还有一个细节：「harness」这个字只出现在前 9 分钟的短片。后面 85 分钟的直播讲的是 agent 评估和自我改进，字幕里一次也没有出现 harness。

我在 Google Cloud Tech 频道里搜索，也翻了直播和课程分页，没有找到两小时的版本。

## 想看原片，从哪里看起？

拼接版是别人转传的，所以这里只嵌两支原片，观看数也会记回原本的频道。

<div style="position:relative;aspect-ratio:16/9;margin:1.5rem 0 .5rem"><iframe src="https://www.youtube-nocookie.com/embed/2C_CefSQEAQ" title="AI harness crash course（Google Cloud Tech，讲者 Annie Wang，2026-10-22）" loading="lazy" allowfullscreen referrerpolicy="strict-origin-when-cross-origin" style="position:absolute;inset:0;width:100%;height:100%;border:0;border-radius:8px"></iframe></div>

<p style="font-size:.9em;opacity:.75;margin:0 0 1.5rem">短片：AI harness crash course，9 分 27 秒，2026-10-22 首播（来源：Google Cloud Tech YouTube 频道，讲者 Annie Wang）</p>

短片用一个「加 CSV 导出按钮」的编程任务，把 harness 的四个部分走一遍，说明栏附了 [codelab](https://g.dev/ai/ai-harness)。视频说明分了十四个章节，我合并成几段（中文是我的译法）：

| 时间 | 内容 |
|------|------|
| [0:00](https://www.youtube.com/watch?v=2C_CefSQEAQ) | 什么是 AI harness |
| [0:49](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=49s) | 循环：读文件、修改、测试、把结果反馈给模型 |
| [1:19](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=79s) | harness 设计的四个部分 |
| [1:40](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=100s) | 情境与记忆：session、state、长期记忆 |
| [3:37](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=217s) | 工具与执行流程：Python 函数、MCP、图状工作流程 |
| [5:18](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=318s) | 执行环境、提示注入与隐私 |
| [7:25](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=445s) | 评估：固定检查、LLM 评审、人工审查 |

<div style="position:relative;aspect-ratio:16/9;margin:1.5rem 0 .5rem"><iframe src="https://www.youtube-nocookie.com/embed/fmPkXi4gRUM" title="Agent 102: Agent Evaluation + Self Evolving（Annie Wang，2026-10-14）" loading="lazy" allowfullscreen referrerpolicy="strict-origin-when-cross-origin" style="position:absolute;inset:0;width:100%;height:100%;border:0;border-radius:8px"></iframe></div>

<p style="font-size:.9em;opacity:.75;margin:0 0 1.5rem">直播：Agent 102: Agent Evaluation + Self Evolving，1 小时 25 分 53 秒，2026-10-14 播出（来源：Annie Wang YouTube 频道）</p>

直播说明列了七个章节（中文是我的译法）：

| 时间 | 章节 |
|------|------|
| [0:00](https://www.youtube.com/watch?v=fmPkXi4gRUM) | 评估概览 |
| [22:10](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=1330s) | 评估的类型 |
| [33:42](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=2022s) | 实作自定义指标 |
| [44:15](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=2655s) | 自我改进的逻辑 |
| [55:29](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=3329s) | ADK optimize 与指令调整 |
| [1:07:19](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=4039s) | 建立自动循环 |
| [1:24:42](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=5082s) | 问答与结语 |

如果你是从那则帖子来的，帖子列的五个时间点，对到原片大约是下面这些位置。拼接版里的直播比原片晚约 9 分 24 秒，这是我拿两边字幕里同一句话的时间推算的：

| 流传版标的 | 原片位置 | 那段实际在讲 |
| --- | --- | --- |
| 0:29 从零开始的 harness 工程 | [短片 0:29](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=29s) | 什么是 AI harness |
| 11:08 第一个 agent，好好盖 | [直播 1:44](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=104s) | 订晚餐的情境，以及这套循环要回答的三个问题 |
| 28:08 用 Chief of Staff agent 做评估工程 | [直播 18:44](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=1124s) | 两个 agent 结果一样、过程不同，只看结果不够 |
| 1:00:13 Loop 工程 | [直播 50:49](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=3049s) | 开始用 ADK optimize 改写指令 |
| 1:23:19 会自我改进、不会停的图系统 | [直播 1:13:55](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=4435s) | 正式环境的建议方向，讲者说当天不实作 |

只有半小时的话，我会这样看：短片从头看完，约 9 分钟；直播从 [18:41](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=1121s) 看到 25 分左右，是两个 agent 的比较，以及跟标准答案比对、让 LLM 当评审各自的优缺点；接着从 [42:08](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=2528s) 看自定义评估器怎么逐座检查，约 3 分钟；再从 [59:41](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=3581s) 看换裁判的示范；最后从 [1:07:25](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=4045s) 看循环怎么接起来。

## 直播原片在教什么？

直播用的是另一个任务：让 agent 替五个朋友订晚餐。Marcos 吃素，Priya 对坚果过敏，Yuki 要在某个时间前离开，Tom 有交通上的限制。Annie Wang 开场就说，如果只按评分挑餐厅，挑到的不一定适合每个人，所以要先做一个在乎每个人限制的评估器。接着她摊开整场要回答的三个问题：怎么知道 agent 有没有达到目标？agent 要怎么自动改进？怎么让整件事自己跑，直到交出对的答案？

她先介绍 ADK 内建的几类评估（[20:57](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=1257s) 起），再说明为什么这次要自己写评估器，把评估方式整理成三种（[42:08](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=2528s) 起）：

- **跟标准答案比对**：事先写好预期的回答，甚至预期的工具调用顺序，再算实际结果有多接近。好控制，前提是标准答案本身要对，而且弹性小。
- **让 LLM 当评审**：不必准备标注好的答案，适合开放式的问题。她提醒，评审本身可能出错，分数也可能随时间漂移。这一种当天只介绍，没有实作。
- **自己写评估器**：这次实作用的是一段固定的程序逻辑，逐座检查每个人能不能在那家餐厅吃饭，再算出分数。

她也讲了为什么只看结果不够（[18:41](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=1121s) 起）。两个 agent 都把餐厅订好了：A 先查日历确认大家有空、查了营业时间才订；B 跳过日历，用猜的时间，刚好猜对。只看结果，两个一样好；B 上线之后换一个任务，就可能出错，因为它做事的过程没有被量到。

## 裁判选错，自我改进的循环会往哪里走？

评估做好之后，她把评估和改进接成一个循环（[1:07:25](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=4045s) 起）。负责订位的 agent 先做一次，裁判用自定义指标打分，再交给一个 router 判断：分数没达标，就交给提案者用 ADK optimize 改写 agent 的指令；改好的指令存在整个流程共用的状态里，下一轮 agent 读到的就是新指令；分数达标，才放行。她说 ADK optimize 跑一次大约要八到十分钟，会试三十个左右的候选指令，所以直播时改用预先准备好的指令示范。

直播 [59:41](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=3581s) 起，她换上一份被动过手脚的指令，再换一个只替餐厅本身打分的裁判。她的结论是：只看餐厅好不好，对这个系统来说不是好裁判；替自我改进的系统选裁判很重要，裁判选错，系统可能整个往错的方向走。她也说这只是一个简短的例子，因为时间关系，这段示范没有完整跑完。

我把这段读成整场直播的重点。循环本身只负责「再改一次」，往哪个方向改，由裁判决定。裁判看错东西，循环跑得越勤快，偏得越远。

帖子里「把真实失败自动变成下一轮考题」也有出处，在直播接近尾声的地方（[1:13:57](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=4437s) 起）。她说，如果部署在 Google Cloud，可以开 BigQuery 外挂，把每一则用户消息和 agent 回应都记成数据表，用自定义指标重新打分，没过的放进训练数据，让下一轮改写时用上。她把这个讲成「可以走的一个方向」，也先说了当天的实作不包含正式环境。「7×24 无人值守」在两段字幕里都找不到。

直播收尾时，她说自己特别喜欢评估这部分：现在大家都在做 agent，系统有多可靠、多好，是有意思也重要的问题。

![四格漫画：裁判选错，自我改进的循环会往哪里走？让 agent 替五个朋友订晚餐。Marcos 吃素，Priya 对坚果过敏，如果只按评分挑餐厅，挑到的不一定适合每个人，分数没达标，就交给提案者用 ADK optimize 改写 agent 的指令；分数达标，才放行。Annie Wang：裁判选错，系统可能整个往错的方向走。裁判看错东西，循环跑得越勤快，偏得越远。印章是作者的读法。](/images/articles/harness-course-pick-the-judge/01-pick-the-judge-zh-cn.svg)

## 我自己的评分系统，遇过什么？

这种事我在自己的系统上遇过，形状没有那么明显。

我做过一套翻译质量评分系统 TQEF。加进三本产业辞典和一组商业用语规则之后，下一轮分数从 4.69 升到 4.97，满分 5。后来我在〈[Harness 会换，Criteria 也要校准](/zh-cn/articles/harness-criteria-compounding)〉里写：这是这套评分器对那 29 句测试语料的判断，评分器本身当时还没完成交叉验证，不能当成辞典有效的证明。分数在升，裁判自己当时还没被验过。

这个月写〈[一个月三千个 PR 的前提](/zh-cn/articles/agent-mistakes-into-checks)〉时，我把 74 条纠正记录重新分类，发现三处我以为在把关的检查，验的是错的版本。例如原文改过之后只重翻一个语系，另外两个语系的旧译会被记成已经更新。检查还在，记录上也显示已经更新，验的却是错的版本。这三处当时还没修，列在下一步。

Annie Wang 那个只看餐厅评分的裁判，至少一眼看得出不对。我遇到的版本，分数在升、记录显示已经更新，看起来都正常。

## 这则帖子是怎么一路传开的？

回头看这则帖子的旅程：11 月 13 日，YouTube 上出现拼接视频，说明栏写好了五个章节，查核时有 269 次观看；11 月 18 日，rob. 把同一长度的视频直接附在西班牙文帖子里，60 万次观看；11 月 19 日，Hux 的中文帖子转引 rob.，13.7 万次。章节内容从英文说明栏、西班牙文，一路沿用到中文版的四层架构。

我的读法是，这也是一个循环。每转一次，通过的都是「有没有人看」这个裁判；这个裁判不看章节是不是原片的。章节最早我看到是在 11 月 13 日的说明栏，再早的源头我查不到，也不知道转帖的人有没有看过原片；我能确定的是，章节标题打开原片就对不上。

上个月我拆过另一则爆红帖子，前面是 AGI 恐慌，最后叫你去读 harness 指南（〈[一则 AGI 恐慌帖子，最后叫你去读一份工程指南](/zh-cn/articles/agi-panic-harness-guide)〉）。这次的形状不同，没有恐慌，只有一个好消息。查核的步骤一样：找原片，对日期、长度和章节。

## 先问裁判在看什么

两支原片都嵌在上面，可以免费看；时间不多，就照前面那份半小时的看法。

帖子自己也说，没有测试、评判、反馈和自动迭代，算不上「工程闭环」。我照这句话做了一次检查，最花时间的一步是打开原片、对时间点。

下次看到「某大厂刚放出免费课」，我会先找原片的频道、日期和长度。替自己的 agent 加一个会自动改进的循环之前，我会先问：它的裁判在看什么。

想看更多 AI 与人机协作的讨论：[智能与秩序](/zh-cn/topics/ai/)。外部裁判怎么搭、多家 AI 互审为什么还不够，我写在〈[想让 AI 做更大的事，先把抓错的机制搭好](/zh-cn/articles/ai-ambition-is-infrastructure)〉。

---

## 常见问题

**Q: Google 真的推出了一门两小时的免费 Harness 工程课吗？**

依 2026 年 11 月 20 日查到的原片，流传的那支约 1 小时 35 分的视频由两段拼成：Google Cloud Tech 10 月 22 日发布的 9 分 27 秒短片〈AI harness crash course〉，以及讲者 Annie Wang 10 月 14 日在个人频道播出的直播〈Agent 102: Agent Evaluation + Self Evolving〉（1 小时 25 分 53 秒）。两段都可以免费看，讲者是 Google Cloud 软件工程师；但我在 Google Cloud Tech 频道的视频、直播与课程分页，都没有找到两小时版本。

**Q: 这两支原片在教什么？**

短片介绍 AI harness 的四个部分：情境与记忆、工具与执行流程、执行环境与安全隐私、评估。直播用一个替五个朋友订晚餐的 agent，介绍三种评估方式（跟标准答案比对、让 LLM 当评审、自己写评估器），实作示范的是标准答案比对和自定义评估器；再用 ADK optimize 改写 agent 的指令，最后用 ADK workflow 的 router 把评估和改写接成一个循环。

**Q: 为什么裁判选错，会让自我改进的 agent 变差？**

这个循环靠裁判的分数决定要不要再改、往哪里改。Annie Wang 在直播里说，如果只看餐厅本身的评分，挑到的不一定适合每个人，这样的裁判对这个系统不是好裁判；裁判选错，系统可能整个往错的方向走。她也提醒，让 LLM 当评审时，评审本身可能出错，分数也可能随时间漂移。

## 查核方式

这篇的查核由我的 agent 沿着帖子往回追，我核对结果；另外由一个没参与撰写的 agent 重新打开原片与帖子，逐条再查一次。标题、日期、长度、章节与观看数，以 2026 年 11 月 20 日 X 与 YouTube 页面上看到的为准，日期与时间是台湾时间。直播与拼接版的逐字稿是 YouTube 自动字幕，短片是频道上传的字幕；文中「找不到」指在字幕里搜索不到，不排除自动字幕听错字。

## 参考资料

- Google Cloud Tech（讲者 Annie Wang），[AI harness crash course](https://www.youtube.com/watch?v=2C_CefSQEAQ)，YouTube，2026 年 10 月 22 日，9 分 27 秒
- Annie Wang，[Agent 102: Agent Evaluation + Self Evolving](https://www.youtube.com/watch?v=fmPkXi4gRUM)，YouTube 直播，2026 年 10 月 14 日，1 小时 25 分 53 秒
- Annie Wang，[AI harness codelabs](https://g.dev/ai/ai-harness)
- rob.（@robiartec），[X 帖子](https://x.com/robiartec/status/2123055373737148722)，2026 年 11 月 18 日（附 1 小时 35 分 11 秒的拼接视频）
- Hux（@huxlab），[X 帖子](https://x.com/huxlab/status/2123398202447823160)，2026 年 11 月 19 日
- Anonymous Files，[Google Just Released a FREE 2-Hour Harness Engineering Masterclass (Beginner to Advanced!)](https://www.youtube.com/watch?v=E4ENk0CJYT4)，YouTube，2026 年 11 月 13 日（拼接转传版）
