TL;DR — 11 月中,一则爆红帖子说 Google 刚放出一门近 2 小时的免费 Harness 工程课。往回追,这支约 1 小时 35 分的视频是两段拼起来的:
- 前 9 分钟:Google Cloud Tech 10 月 22 日发布的短片〈AI harness crash course〉。
- 后面约 85 分钟:讲者 Annie Wang 10 月 14 日在个人频道的直播〈Agent 102: Agent Evaluation + Self Evolving〉。帖子列的章节标题是重新取的,「Chief of Staff」和「7×24 无人值守」在原片字幕里都找不到。
- 原片的重点在评估:她用订晚餐的 agent 说明,自我改进的循环靠裁判的分数决定往哪里改;裁判只看餐厅评分,系统可能往错的方向走。
- 文中嵌入两支原片:附流传版章节对到原片的时间点,以及一份半小时的看法。
11 月 19 日晚上,Hux(@huxlab)在 X 上发了一则中文帖子,说 Google 刚放出一门近 2 小时的 Harness 工程完整课,可以从零搭出一套 7×24 小时自己进化的 agent 系统。它把课程拆成四层:先搭 harness 底座,再做 eval 工程,接着跑通 loop,最后是一个把真实失败自动变成下一轮考题的自进化图系统。结尾说,这套把「看起来对」变成「验证过、而且能自己变好」的功夫,以前是顶级团队压箱底的心法。我看到的时候,它有 13.7 万次观看。
我想看这门课,就请 agent 沿着帖子往回找。找到的原片有两段,比较长的那段是一场直播,到 11 月 20 日有 2,755 次观看。
这门「Google 两小时 Harness 课」从哪里来?
Hux 这则转引的是 rob.(@robiartec)11 月 18 日的西班牙文帖子。两则的核心说法相同:Google 刚推出两小时的免费课、五个章节、比五百美元的课还值得。「7×24 无人值守」「同一个模型差好几倍」和四层架构,是 Hux 这则另外加的。rob. 的帖子直接附了一支视频,长 1 小时 35 分 11 秒,帖子里的五个时间点可以点进去跳,60 万次观看就是这则带片帖子累积的。底下有人贴了一个 YouTube 链接,是 Google Cloud Tech 频道的〈AI harness crash course〉,只有 9 分 27 秒。
长度对不上,所以再往下找。YouTube 上 11 月 13 日已经有一支转传视频〈Google Just Released a FREE 2-Hour Harness Engineering Masterclass〉,长度跟 rob. 附的视频相同,说明栏已经写了同样的五个章节,也写了五百美元那句。上传的频道只有 7 位订阅者。这是我找到最早的拼接版本,不一定是源头。
对过逐字稿,这支视频由两段组成。前 9 分多钟是〈AI harness crash course〉,Google Cloud Tech 10 月 22 日发布,讲者是 Google Cloud 软件工程师 Annie Wang。后面约 85 分钟,是 Annie Wang 10 月 14 日在自己频道播出的直播〈Agent 102: Agent Evaluation + Self Evolving〉,原长 1 小时 25 分 53 秒。这是她每周一场的 agent 系列直播工作坊,边操作边讲。中间遇到 API 配额错误,有一段评估改用先前跑过的结果;ADK optimize 太花时间,也改用预先准备的指令。
| 帖子的说法 | 出自 | 查到的原片 |
|---|---|---|
| Google 刚刚放出 | 两则都有 | 短片 10 月 22 日由 Google Cloud Tech 发布;直播 10 月 14 日在讲者个人频道播出;拼接版我找到最早是 11 月 13 日 |
| 近 2 小时的完整课 | 两则都有 | 9 分 27 秒短片,加上 1 小时 25 分 53 秒直播,合计约 1 小时 35 分 |
| 五个章节:从零搭 harness、第一个 agent、Chief of Staff 评测、Loop 工程、自我改进的图系统 | rob.;11 月 13 日的 YouTube 说明栏已经有 | 章节标题是重新取的;原片的章节,以及这五个时间点对到原片哪里,见下一节 |
| 用 Chief of Staff(幕僚长)的标准定义什么叫好 | 两则都有(rob. 写在章节标题里) | 两段字幕都找不到 chief 或 staff;直播的评估范例是替五个朋友订晚餐 |
| 7×24 无人值守的自进化图系统 | Hux | 示范的是用 router 接回去的改进循环;讲到正式环境时,讲者说当天的实作不包含这部分 |
| 同一个模型,外层不同,产出差好几倍 | Hux | 两段字幕都没找到这个说法 |
还有一个细节:「harness」这个字只出现在前 9 分钟的短片。后面 85 分钟的直播讲的是 agent 评估和自我改进,字幕里一次也没有出现 harness。
我在 Google Cloud Tech 频道里搜索,也翻了直播和课程分页,没有找到两小时的版本。
想看原片,从哪里看起?
拼接版是别人转传的,所以这里只嵌两支原片,观看数也会记回原本的频道。
短片:AI harness crash course,9 分 27 秒,2026-10-22 首播(来源:Google Cloud Tech YouTube 频道,讲者 Annie Wang)
短片用一个「加 CSV 导出按钮」的编程任务,把 harness 的四个部分走一遍,说明栏附了 codelab。视频说明分了十四个章节,我合并成几段(中文是我的译法):
| 时间 | 内容 |
|---|---|
| 0:00 | 什么是 AI harness |
| 0:49 | 循环:读文件、修改、测试、把结果反馈给模型 |
| 1:19 | harness 设计的四个部分 |
| 1:40 | 情境与记忆:session、state、长期记忆 |
| 3:37 | 工具与执行流程:Python 函数、MCP、图状工作流程 |
| 5:18 | 执行环境、提示注入与隐私 |
| 7:25 | 评估:固定检查、LLM 评审、人工审查 |
直播:Agent 102: Agent Evaluation + Self Evolving,1 小时 25 分 53 秒,2026-10-14 播出(来源:Annie Wang YouTube 频道)
直播说明列了七个章节(中文是我的译法):
| 时间 | 章节 |
|---|---|
| 0:00 | 评估概览 |
| 22:10 | 评估的类型 |
| 33:42 | 实作自定义指标 |
| 44:15 | 自我改进的逻辑 |
| 55:29 | ADK optimize 与指令调整 |
| 1:07:19 | 建立自动循环 |
| 1:24:42 | 问答与结语 |
如果你是从那则帖子来的,帖子列的五个时间点,对到原片大约是下面这些位置。拼接版里的直播比原片晚约 9 分 24 秒,这是我拿两边字幕里同一句话的时间推算的:
| 流传版标的 | 原片位置 | 那段实际在讲 |
|---|---|---|
| 0:29 从零开始的 harness 工程 | 短片 0:29 | 什么是 AI harness |
| 11:08 第一个 agent,好好盖 | 直播 1:44 | 订晚餐的情境,以及这套循环要回答的三个问题 |
| 28:08 用 Chief of Staff agent 做评估工程 | 直播 18:44 | 两个 agent 结果一样、过程不同,只看结果不够 |
| 1:00:13 Loop 工程 | 直播 50:49 | 开始用 ADK optimize 改写指令 |
| 1:23:19 会自我改进、不会停的图系统 | 直播 1:13:55 | 正式环境的建议方向,讲者说当天不实作 |
只有半小时的话,我会这样看:短片从头看完,约 9 分钟;直播从 18:41 看到 25 分左右,是两个 agent 的比较,以及跟标准答案比对、让 LLM 当评审各自的优缺点;接着从 42:08 看自定义评估器怎么逐座检查,约 3 分钟;再从 59:41 看换裁判的示范;最后从 1:07:25 看循环怎么接起来。
直播原片在教什么?
直播用的是另一个任务:让 agent 替五个朋友订晚餐。Marcos 吃素,Priya 对坚果过敏,Yuki 要在某个时间前离开,Tom 有交通上的限制。Annie Wang 开场就说,如果只按评分挑餐厅,挑到的不一定适合每个人,所以要先做一个在乎每个人限制的评估器。接着她摊开整场要回答的三个问题:怎么知道 agent 有没有达到目标?agent 要怎么自动改进?怎么让整件事自己跑,直到交出对的答案?
她先介绍 ADK 内建的几类评估(20:57 起),再说明为什么这次要自己写评估器,把评估方式整理成三种(42:08 起):
- 跟标准答案比对:事先写好预期的回答,甚至预期的工具调用顺序,再算实际结果有多接近。好控制,前提是标准答案本身要对,而且弹性小。
- 让 LLM 当评审:不必准备标注好的答案,适合开放式的问题。她提醒,评审本身可能出错,分数也可能随时间漂移。这一种当天只介绍,没有实作。
- 自己写评估器:这次实作用的是一段固定的程序逻辑,逐座检查每个人能不能在那家餐厅吃饭,再算出分数。
她也讲了为什么只看结果不够(18:41 起)。两个 agent 都把餐厅订好了:A 先查日历确认大家有空、查了营业时间才订;B 跳过日历,用猜的时间,刚好猜对。只看结果,两个一样好;B 上线之后换一个任务,就可能出错,因为它做事的过程没有被量到。
裁判选错,自我改进的循环会往哪里走?
评估做好之后,她把评估和改进接成一个循环(1:07:25 起)。负责订位的 agent 先做一次,裁判用自定义指标打分,再交给一个 router 判断:分数没达标,就交给提案者用 ADK optimize 改写 agent 的指令;改好的指令存在整个流程共用的状态里,下一轮 agent 读到的就是新指令;分数达标,才放行。她说 ADK optimize 跑一次大约要八到十分钟,会试三十个左右的候选指令,所以直播时改用预先准备好的指令示范。
直播 59:41 起,她换上一份被动过手脚的指令,再换一个只替餐厅本身打分的裁判。她的结论是:只看餐厅好不好,对这个系统来说不是好裁判;替自我改进的系统选裁判很重要,裁判选错,系统可能整个往错的方向走。她也说这只是一个简短的例子,因为时间关系,这段示范没有完整跑完。
我把这段读成整场直播的重点。循环本身只负责「再改一次」,往哪个方向改,由裁判决定。裁判看错东西,循环跑得越勤快,偏得越远。
帖子里「把真实失败自动变成下一轮考题」也有出处,在直播接近尾声的地方(1:13:57 起)。她说,如果部署在 Google Cloud,可以开 BigQuery 外挂,把每一则用户消息和 agent 回应都记成数据表,用自定义指标重新打分,没过的放进训练数据,让下一轮改写时用上。她把这个讲成「可以走的一个方向」,也先说了当天的实作不包含正式环境。「7×24 无人值守」在两段字幕里都找不到。
直播收尾时,她说自己特别喜欢评估这部分:现在大家都在做 agent,系统有多可靠、多好,是有意思也重要的问题。
我自己的评分系统,遇过什么?
这种事我在自己的系统上遇过,形状没有那么明显。
我做过一套翻译质量评分系统 TQEF。加进三本产业辞典和一组商业用语规则之后,下一轮分数从 4.69 升到 4.97,满分 5。后来我在〈Harness 会换,Criteria 也要校准〉里写:这是这套评分器对那 29 句测试语料的判断,评分器本身当时还没完成交叉验证,不能当成辞典有效的证明。分数在升,裁判自己当时还没被验过。
这个月写〈一个月三千个 PR 的前提〉时,我把 74 条纠正记录重新分类,发现三处我以为在把关的检查,验的是错的版本。例如原文改过之后只重翻一个语系,另外两个语系的旧译会被记成已经更新。检查还在,记录上也显示已经更新,验的却是错的版本。这三处当时还没修,列在下一步。
Annie Wang 那个只看餐厅评分的裁判,至少一眼看得出不对。我遇到的版本,分数在升、记录显示已经更新,看起来都正常。
这则帖子是怎么一路传开的?
回头看这则帖子的旅程:11 月 13 日,YouTube 上出现拼接视频,说明栏写好了五个章节,查核时有 269 次观看;11 月 18 日,rob. 把同一长度的视频直接附在西班牙文帖子里,60 万次观看;11 月 19 日,Hux 的中文帖子转引 rob.,13.7 万次。章节内容从英文说明栏、西班牙文,一路沿用到中文版的四层架构。
我的读法是,这也是一个循环。每转一次,通过的都是「有没有人看」这个裁判;这个裁判不看章节是不是原片的。章节最早我看到是在 11 月 13 日的说明栏,再早的源头我查不到,也不知道转帖的人有没有看过原片;我能确定的是,章节标题打开原片就对不上。
上个月我拆过另一则爆红帖子,前面是 AGI 恐慌,最后叫你去读 harness 指南(〈一则 AGI 恐慌帖子,最后叫你去读一份工程指南〉)。这次的形状不同,没有恐慌,只有一个好消息。查核的步骤一样:找原片,对日期、长度和章节。
先问裁判在看什么
两支原片都嵌在上面,可以免费看;时间不多,就照前面那份半小时的看法。
帖子自己也说,没有测试、评判、反馈和自动迭代,算不上「工程闭环」。我照这句话做了一次检查,最花时间的一步是打开原片、对时间点。
下次看到「某大厂刚放出免费课」,我会先找原片的频道、日期和长度。替自己的 agent 加一个会自动改进的循环之前,我会先问:它的裁判在看什么。
想看更多 AI 与人机协作的讨论:智能与秩序。外部裁判怎么搭、多家 AI 互审为什么还不够,我写在〈想让 AI 做更大的事,先把抓错的机制搭好〉。
常见问题
Q: Google 真的推出了一门两小时的免费 Harness 工程课吗?
依 2026 年 11 月 20 日查到的原片,流传的那支约 1 小时 35 分的视频由两段拼成:Google Cloud Tech 10 月 22 日发布的 9 分 27 秒短片〈AI harness crash course〉,以及讲者 Annie Wang 10 月 14 日在个人频道播出的直播〈Agent 102: Agent Evaluation + Self Evolving〉(1 小时 25 分 53 秒)。两段都可以免费看,讲者是 Google Cloud 软件工程师;但我在 Google Cloud Tech 频道的视频、直播与课程分页,都没有找到两小时版本。
Q: 这两支原片在教什么?
短片介绍 AI harness 的四个部分:情境与记忆、工具与执行流程、执行环境与安全隐私、评估。直播用一个替五个朋友订晚餐的 agent,介绍三种评估方式(跟标准答案比对、让 LLM 当评审、自己写评估器),实作示范的是标准答案比对和自定义评估器;再用 ADK optimize 改写 agent 的指令,最后用 ADK workflow 的 router 把评估和改写接成一个循环。
Q: 为什么裁判选错,会让自我改进的 agent 变差?
这个循环靠裁判的分数决定要不要再改、往哪里改。Annie Wang 在直播里说,如果只看餐厅本身的评分,挑到的不一定适合每个人,这样的裁判对这个系统不是好裁判;裁判选错,系统可能整个往错的方向走。她也提醒,让 LLM 当评审时,评审本身可能出错,分数也可能随时间漂移。
查核方式
这篇的查核由我的 agent 沿着帖子往回追,我核对结果;另外由一个没参与撰写的 agent 重新打开原片与帖子,逐条再查一次。标题、日期、长度、章节与观看数,以 2026 年 11 月 20 日 X 与 YouTube 页面上看到的为准,日期与时间是台湾时间。直播与拼接版的逐字稿是 YouTube 自动字幕,短片是频道上传的字幕;文中「找不到」指在字幕里搜索不到,不排除自动字幕听错字。
参考资料
- Google Cloud Tech(讲者 Annie Wang),AI harness crash course,YouTube,2026 年 10 月 22 日,9 分 27 秒
- Annie Wang,Agent 102: Agent Evaluation + Self Evolving,YouTube 直播,2026 年 10 月 14 日,1 小时 25 分 53 秒
- Annie Wang,AI harness codelabs
- rob.(@robiartec),X 帖子,2026 年 11 月 18 日(附 1 小时 35 分 11 秒的拼接视频)
- Hux(@huxlab),X 帖子,2026 年 11 月 19 日
- Anonymous Files,Google Just Released a FREE 2-Hour Harness Engineering Masterclass (Beginner to Advanced!),YouTube,2026 年 11 月 13 日(拼接转传版)


💬 留言讨论
加载中...