# 爆紅的「Google 兩小時 Harness 課」原片在這裡：agent 越改越好還是越偏，看裁判

> 2026 年 11 月一則 X 的貼文說 Google 剛放出近 2 小時的免費 Harness 工程課。原片其實是兩支：Google Cloud Tech 9 分 27 秒的短片，和講者 Annie Wang 個人頻道 1 小時 25 分的直播；貼文的章節標題是重新取的，「Chief of Staff」「7×24 無人值守」在原片字幕裡找不到。文中嵌入兩支原片、附章節對照，並整理直播裡的示範：裁判選錯，自我改進的 agent 可能往錯的方向走。

- Author: Paul Kuo（郭曜郎）
- Date: 2026-11-21
- Pillar: 智能與秩序 / Intelligence & Order
- Tags: Harness Engineering, Agent 評估, LLM-as-a-Judge, Google ADK, 自我改進 Agent, 事實查核, AI Agent
- Canonical: https://paulkuo.tw/articles/harness-course-pick-the-judge/
- Site index for LLMs: https://paulkuo.tw/llms.txt

---

> **TL;DR** — 11 月中，一則爆紅貼文說 Google 剛放出一門近 2 小時的免費 Harness 工程課。往回追，這支約 1 小時 35 分的影片是兩段拼起來的：
>
> - **前 9 分鐘**：Google Cloud Tech 10 月 22 日發布的短片〈AI harness crash course〉。
> - **後面約 85 分鐘**：講者 Annie Wang 10 月 14 日在個人頻道的直播〈Agent 102: Agent Evaluation + Self Evolving〉。貼文列的章節標題是重新取的，「Chief of Staff」和「7×24 無人值守」在原片字幕裡都找不到。
> - **原片的重點在評估**：她用訂晚餐的 agent 說明，自我改進的迴圈靠裁判的分數決定往哪裡改；裁判只看餐廳評分，系統可能往錯的方向走。
> - **文中嵌入兩支原片**：附流傳版章節對到原片的時間點，以及一份半小時的看法。

11 月 19 日晚上，Hux（@huxlab）在 X 上發了一則中文貼文，說 Google 剛放出一門近 2 小時的 Harness 工程完整課，可以從零搭出一套 7×24 小時自己進化的 agent 系統。它把課程拆成四層：先搭 harness 底座，再做 eval 工程，接著跑通 loop，最後是一個把真實失敗自動變成下一輪考題的自進化圖系統。結尾說，這套把「看起來對」變成「驗證過、而且能自己變好」的功夫，以前是頂級團隊壓箱底的心法。我看到的時候，它有 13.7 萬次觀看。

我想看這門課，就請 agent 沿著貼文往回找。找到的原片有兩段，比較長的那段是一場直播，到 11 月 20 日有 2,755 次觀看。

## 這門「Google 兩小時 Harness 課」從哪裡來？

Hux 這則轉引的是 rob.（@robiartec）11 月 18 日的西班牙文貼文。兩則的核心說法相同：Google 剛推出兩小時的免費課、五個章節、比五百美元的課還值得。「7×24 無人值守」「同一個模型差好幾倍」和四層架構，是 Hux 這則另外加的。rob. 的貼文直接附了一支影片，長 1 小時 35 分 11 秒，貼文裡的五個時間點可以點進去跳，60 萬次觀看就是這則帶片貼文累積的。底下有人貼了一個 YouTube 連結，是 Google Cloud Tech 頻道的〈[AI harness crash course](https://www.youtube.com/watch?v=2C_CefSQEAQ)〉，只有 9 分 27 秒。

長度對不上，所以再往下找。YouTube 上 11 月 13 日已經有一支轉傳影片〈Google Just Released a FREE 2-Hour Harness Engineering Masterclass〉，長度跟 rob. 附的影片相同，說明欄已經寫了同樣的五個章節，也寫了五百美元那句。上傳的頻道只有 7 位訂閱者。這是我找到最早的拼接版本，不一定是源頭。

對過逐字稿，這支影片由兩段組成。前 9 分多鐘是〈AI harness crash course〉，Google Cloud Tech 10 月 22 日發布，講者是 Google Cloud 軟體工程師 Annie Wang。後面約 85 分鐘，是 Annie Wang 10 月 14 日在自己頻道播出的直播〈[Agent 102: Agent Evaluation + Self Evolving](https://www.youtube.com/watch?v=fmPkXi4gRUM)〉，原長 1 小時 25 分 53 秒。這是她每週一場的 agent 系列直播工作坊，邊操作邊講。中間遇到 API 配額錯誤，有一段評估改用先前跑過的結果；ADK optimize 太花時間，也改用預先準備的指令。

| 貼文的說法 | 出自 | 查到的原片 |
| --- | --- | --- |
| Google 剛剛放出 | 兩則都有 | 短片 10 月 22 日由 Google Cloud Tech 發布；直播 10 月 14 日在講者個人頻道播出；拼接版我找到最早是 11 月 13 日 |
| 近 2 小時的完整課 | 兩則都有 | 9 分 27 秒短片，加上 1 小時 25 分 53 秒直播，合計約 1 小時 35 分 |
| 五個章節：從零搭 harness、第一個 agent、Chief of Staff 評測、Loop 工程、自我改進的圖系統 | rob.；11 月 13 日的 YouTube 說明欄已經有 | 章節標題是重新取的；原片的章節，以及這五個時間點對到原片哪裡，見下一節 |
| 用 Chief of Staff（幕僚長）的標準定義什麼叫好 | 兩則都有（rob. 寫在章節標題裡） | 兩段字幕都找不到 chief 或 staff；直播的評估範例是替五個朋友訂晚餐 |
| 7×24 無人值守的自進化圖系統 | Hux | 示範的是用 router 接回去的改進迴圈；講到正式環境時，講者說當天的實作不包含這部分 |
| 同一個模型，外層不同，產出差好幾倍 | Hux | 兩段字幕都沒找到這個說法 |

還有一個細節：「harness」這個字只出現在前 9 分鐘的短片。後面 85 分鐘的直播講的是 agent 評估和自我改進，字幕裡一次也沒有出現 harness。

我在 Google Cloud Tech 頻道裡搜尋，也翻了直播和課程分頁，沒有找到兩小時的版本。

## 想看原片，從哪裡看起？

拼接版是別人轉傳的，所以這裡只嵌兩支原片，觀看數也會記回原本的頻道。

<div style="position:relative;aspect-ratio:16/9;margin:1.5rem 0 .5rem"><iframe src="https://www.youtube-nocookie.com/embed/2C_CefSQEAQ" title="AI harness crash course（Google Cloud Tech，講者 Annie Wang，2026-10-22）" loading="lazy" allowfullscreen referrerpolicy="strict-origin-when-cross-origin" style="position:absolute;inset:0;width:100%;height:100%;border:0;border-radius:8px"></iframe></div>

<p style="font-size:.9em;opacity:.75;margin:0 0 1.5rem">短片：AI harness crash course，9 分 27 秒，2026-10-22 首播（來源：Google Cloud Tech YouTube 頻道，講者 Annie Wang）</p>

短片用一個「加 CSV 匯出按鈕」的寫程式任務，把 harness 的四個部分走一遍，說明欄附了 [codelab](https://g.dev/ai/ai-harness)。影片說明分了十四個章節，我合併成幾段（中文是我的譯法）：

| 時間 | 內容 |
|------|------|
| [0:00](https://www.youtube.com/watch?v=2C_CefSQEAQ) | 什麼是 AI harness |
| [0:49](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=49s) | 迴圈：讀檔、修改、測試、把結果回饋給模型 |
| [1:19](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=79s) | harness 設計的四個部分 |
| [1:40](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=100s) | 情境與記憶：session、state、長期記憶 |
| [3:37](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=217s) | 工具與執行流程：Python 函式、MCP、圖狀工作流程 |
| [5:18](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=318s) | 執行環境、提示注入與隱私 |
| [7:25](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=445s) | 評估：固定檢查、LLM 評審、人工審查 |

<div style="position:relative;aspect-ratio:16/9;margin:1.5rem 0 .5rem"><iframe src="https://www.youtube-nocookie.com/embed/fmPkXi4gRUM" title="Agent 102: Agent Evaluation + Self Evolving（Annie Wang，2026-10-14）" loading="lazy" allowfullscreen referrerpolicy="strict-origin-when-cross-origin" style="position:absolute;inset:0;width:100%;height:100%;border:0;border-radius:8px"></iframe></div>

<p style="font-size:.9em;opacity:.75;margin:0 0 1.5rem">直播：Agent 102: Agent Evaluation + Self Evolving，1 小時 25 分 53 秒，2026-10-14 播出（來源：Annie Wang YouTube 頻道）</p>

直播說明列了七個章節（中文是我的譯法）：

| 時間 | 章節 |
|------|------|
| [0:00](https://www.youtube.com/watch?v=fmPkXi4gRUM) | 評估概覽 |
| [22:10](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=1330s) | 評估的類型 |
| [33:42](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=2022s) | 實作自訂指標 |
| [44:15](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=2655s) | 自我改進的邏輯 |
| [55:29](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=3329s) | ADK optimize 與指令調整 |
| [1:07:19](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=4039s) | 建立自動迴圈 |
| [1:24:42](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=5082s) | 問答與結語 |

如果你是從那則貼文來的，貼文列的五個時間點，對到原片大約是下面這些位置。拼接版裡的直播比原片晚約 9 分 24 秒，這是我拿兩邊字幕裡同一句話的時間推算的：

| 流傳版標的 | 原片位置 | 那段實際在講 |
| --- | --- | --- |
| 0:29 從零開始的 harness 工程 | [短片 0:29](https://www.youtube.com/watch?v=2C_CefSQEAQ&t=29s) | 什麼是 AI harness |
| 11:08 第一個 agent，好好蓋 | [直播 1:44](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=104s) | 訂晚餐的情境，以及這套迴圈要回答的三個問題 |
| 28:08 用 Chief of Staff agent 做評估工程 | [直播 18:44](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=1124s) | 兩個 agent 結果一樣、過程不同，只看結果不夠 |
| 1:00:13 Loop 工程 | [直播 50:49](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=3049s) | 開始用 ADK optimize 改寫指令 |
| 1:23:19 會自我改進、不會停的圖系統 | [直播 1:13:55](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=4435s) | 正式環境的建議方向，講者說當天不實作 |

只有半小時的話，我會這樣看：短片從頭看完，約 9 分鐘；直播從 [18:41](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=1121s) 看到 25 分左右，是兩個 agent 的比較，以及跟標準答案比對、讓 LLM 當評審各自的優缺點；接著從 [42:08](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=2528s) 看自訂評估器怎麼逐座檢查，約 3 分鐘；再從 [59:41](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=3581s) 看換裁判的示範；最後從 [1:07:25](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=4045s) 看迴圈怎麼接起來。

## 直播原片在教什麼？

直播用的是另一個任務：讓 agent 替五個朋友訂晚餐。Marcos 吃素，Priya 對堅果過敏，Yuki 要在某個時間前離開，Tom 有交通上的限制。Annie Wang 開場就說，如果只按評分挑餐廳，挑到的不一定適合每個人，所以要先做一個在乎每個人限制的評估器。接著她攤開整場要回答的三個問題：怎麼知道 agent 有沒有達到目標？agent 要怎麼自動改進？怎麼讓整件事自己跑，直到交出對的答案？

她先介紹 ADK 內建的幾類評估（[20:57](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=1257s) 起），再說明為什麼這次要自己寫評估器，把評估方式整理成三種（[42:08](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=2528s) 起）：

- **跟標準答案比對**：事先寫好預期的回答，甚至預期的工具呼叫順序，再算實際結果有多接近。好控制，前提是標準答案本身要對，而且彈性小。
- **讓 LLM 當評審**：不必準備標註好的答案，適合開放式的問題。她提醒，評審本身可能出錯，分數也可能隨時間漂移。這一種當天只介紹，沒有實作。
- **自己寫評估器**：這次實作用的是一段固定的程式邏輯，逐座檢查每個人能不能在那家餐廳吃飯，再算出分數。

她也講了為什麼只看結果不夠（[18:41](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=1121s) 起）。兩個 agent 都把餐廳訂好了：A 先查行事曆確認大家有空、查了營業時間才訂；B 跳過行事曆，用猜的時間，剛好猜對。只看結果，兩個一樣好；B 上線之後換一個任務，就可能出錯，因為它做事的過程沒有被量到。

## 裁判選錯，自我改進的迴圈會往哪裡走？

評估做好之後，她把評估和改進接成一個迴圈（[1:07:25](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=4045s) 起）。負責訂位的 agent 先做一次，裁判用自訂指標打分，再交給一個 router 判斷：分數沒達標，就交給提案者用 ADK optimize 改寫 agent 的指令；改好的指令存在整個流程共用的狀態裡，下一輪 agent 讀到的就是新指令；分數達標，才放行。她說 ADK optimize 跑一次大約要八到十分鐘，會試三十個左右的候選指令，所以直播時改用預先準備好的指令示範。

直播 [59:41](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=3581s) 起，她換上一份被動過手腳的指令，再換一個只替餐廳本身打分的裁判。她的結論是：只看餐廳好不好，對這個系統來說不是好裁判；替自我改進的系統選裁判很重要，裁判選錯，系統可能整個往錯的方向走。她也說這只是一個簡短的例子，因為時間關係，這段示範沒有完整跑完。

我把這段讀成整場直播的重點。迴圈本身只負責「再改一次」，往哪個方向改，由裁判決定。裁判看錯東西，迴圈跑得越勤快，偏得越遠。

貼文裡「把真實失敗自動變成下一輪考題」也有出處，在直播接近尾聲的地方（[1:13:57](https://www.youtube.com/watch?v=fmPkXi4gRUM&t=4437s) 起）。她說，如果部署在 Google Cloud，可以開 BigQuery 外掛，把每一則使用者訊息和 agent 回應都記成資料表，用自訂指標重新打分，沒過的放進訓練資料，讓下一輪改寫時用上。她把這個講成「可以走的一個方向」，也先說了當天的實作不包含正式環境。「7×24 無人值守」在兩段字幕裡都找不到。

直播收尾時，她說自己特別喜歡評估這部分：現在大家都在做 agent，系統有多可靠、多好，是有意思也重要的問題。

![四格漫畫：裁判選錯，自我改進的迴圈會往哪裡走？讓 agent 替五個朋友訂晚餐。Marcos 吃素，Priya 對堅果過敏，如果只按評分挑餐廳，挑到的不一定適合每個人，分數沒達標，就交給提案者用 ADK optimize 改寫 agent 的指令；分數達標，才放行。Annie Wang：裁判選錯，系統可能整個往錯的方向走。裁判看錯東西，迴圈跑得越勤快，偏得越遠。印章是作者的讀法。](/images/articles/harness-course-pick-the-judge/01-pick-the-judge.svg)

## 我自己的評分系統，遇過什麼？

這種事我在自己的系統上遇過，形狀沒有那麼明顯。

我做過一套翻譯品質評分系統 TQEF。加進三本產業辭典和一組商業用語規則之後，下一輪分數從 4.69 升到 4.97，滿分 5。後來我在〈[Harness 會換，Criteria 也要校準](/articles/harness-criteria-compounding)〉裡寫：這是這套評分器對那 29 句測試語料的判斷，評分器本身當時還沒完成交叉驗證，不能當成辭典有效的證明。分數在升，裁判自己當時還沒被驗過。

這個月寫〈[一個月三千個 PR 的前提](/articles/agent-mistakes-into-checks)〉時，我把 74 條糾正紀錄重新分類，發現三處我以為在把關的檢查，驗的是錯的版本。例如原文改過之後只重翻一個語系，另外兩個語系的舊譯會被記成已經更新。檢查還在，紀錄上也顯示已經更新，驗的卻是錯的版本。這三處當時還沒修，列在下一步。

Annie Wang 那個只看餐廳評分的裁判，至少一眼看得出不對。我遇到的版本，分數在升、紀錄顯示已經更新，看起來都正常。

## 這則貼文是怎麼一路傳開的？

回頭看這則貼文的旅程：11 月 13 日，YouTube 上出現拼接影片，說明欄寫好了五個章節，查核時有 269 次觀看；11 月 18 日，rob. 把同一長度的影片直接附在西班牙文貼文裡，60 萬次觀看；11 月 19 日，Hux 的中文貼文轉引 rob.，13.7 萬次。章節內容從英文說明欄、西班牙文，一路沿用到中文版的四層架構。

我的讀法是，這也是一個迴圈。每轉一次，通過的都是「有沒有人看」這個裁判；這個裁判不看章節是不是原片的。章節最早我看到是在 11 月 13 日的說明欄，再早的源頭我查不到，也不知道轉貼的人有沒有看過原片；我能確定的是，章節標題打開原片就對不上。

上個月我拆過另一則爆紅貼文，前面是 AGI 恐慌，最後叫你去讀 harness 指南（〈[一則 AGI 恐慌貼文，最後叫你去讀一份工程指南](/articles/agi-panic-harness-guide)〉）。這次的形狀不同，沒有恐慌，只有一個好消息。查核的步驟一樣：找原片，對日期、長度和章節。

## 先問裁判在看什麼

兩支原片都嵌在上面，可以免費看；時間不多，就照前面那份半小時的看法。

貼文自己也說，沒有測試、評判、回饋和自動迭代，算不上「工程閉環」。我照這句話做了一次檢查，最花時間的一步是打開原片、對時間點。

下次看到「某大廠剛放出免費課」，我會先找原片的頻道、日期和長度。替自己的 agent 加一個會自動改進的迴圈之前，我會先問：它的裁判在看什麼。

想看更多 AI 與人機協作的討論：[智能與秩序](/topics/ai/)。外部裁判怎麼搭、多家 AI 互審為什麼還不夠，我寫在〈[想讓 AI 做更大的事，先把抓錯的機制搭好](/articles/ai-ambition-is-infrastructure)〉。

---

## 常見問題

**Q: Google 真的推出了一門兩小時的免費 Harness 工程課嗎？**

依 2026 年 11 月 20 日查到的原片，流傳的那支約 1 小時 35 分的影片由兩段拼成：Google Cloud Tech 10 月 22 日發布的 9 分 27 秒短片〈AI harness crash course〉，以及講者 Annie Wang 10 月 14 日在個人頻道播出的直播〈Agent 102: Agent Evaluation + Self Evolving〉（1 小時 25 分 53 秒）。兩段都可以免費看，講者是 Google Cloud 軟體工程師；但我在 Google Cloud Tech 頻道的影片、直播與課程分頁，都沒有找到兩小時版本。

**Q: 這兩支原片在教什麼？**

短片介紹 AI harness 的四個部分：情境與記憶、工具與執行流程、執行環境與安全隱私、評估。直播用一個替五個朋友訂晚餐的 agent，介紹三種評估方式（跟標準答案比對、讓 LLM 當評審、自己寫評估器），實作示範的是標準答案比對和自訂評估器；再用 ADK optimize 改寫 agent 的指令，最後用 ADK workflow 的 router 把評估和改寫接成一個迴圈。

**Q: 為什麼裁判選錯，會讓自我改進的 agent 變差？**

這個迴圈靠裁判的分數決定要不要再改、往哪裡改。Annie Wang 在直播裡說，如果只看餐廳本身的評分，挑到的不一定適合每個人，這樣的裁判對這個系統不是好裁判；裁判選錯，系統可能整個往錯的方向走。她也提醒，讓 LLM 當評審時，評審本身可能出錯，分數也可能隨時間漂移。

## 查核方式

這篇的查核由我的 agent 沿著貼文往回追，我核對結果；另外由一個沒參與撰寫的 agent 重新打開原片與貼文，逐條再查一次。標題、日期、長度、章節與觀看數，以 2026 年 11 月 20 日 X 與 YouTube 頁面上看到的為準，日期與時間是台灣時間。直播與拼接版的逐字稿是 YouTube 自動字幕，短片是頻道上傳的字幕；文中「找不到」指在字幕裡搜尋不到，不排除自動字幕聽錯字。

## 參考資料

- Google Cloud Tech（講者 Annie Wang），[AI harness crash course](https://www.youtube.com/watch?v=2C_CefSQEAQ)，YouTube，2026 年 10 月 22 日，9 分 27 秒
- Annie Wang，[Agent 102: Agent Evaluation + Self Evolving](https://www.youtube.com/watch?v=fmPkXi4gRUM)，YouTube 直播，2026 年 10 月 14 日，1 小時 25 分 53 秒
- Annie Wang，[AI harness codelabs](https://g.dev/ai/ai-harness)
- rob.（@robiartec），[X 貼文](https://x.com/robiartec/status/2123055373737148722)，2026 年 11 月 18 日（附 1 小時 35 分 11 秒的拼接影片）
- Hux（@huxlab），[X 貼文](https://x.com/huxlab/status/2123398202447823160)，2026 年 11 月 19 日
- Anonymous Files，[Google Just Released a FREE 2-Hour Harness Engineering Masterclass (Beginner to Advanced!)](https://www.youtube.com/watch?v=E4ENk0CJYT4)，YouTube，2026 年 11 月 13 日（拼接轉傳版）
