TL;DR — 11 月中,一則爆紅貼文說 Google 剛放出一門近 2 小時的免費 Harness 工程課。往回追,這支約 1 小時 35 分的影片是兩段拼起來的:
- 前 9 分鐘:Google Cloud Tech 10 月 22 日發布的短片〈AI harness crash course〉。
- 後面約 85 分鐘:講者 Annie Wang 10 月 14 日在個人頻道的直播〈Agent 102: Agent Evaluation + Self Evolving〉。貼文列的章節標題是重新取的,「Chief of Staff」和「7×24 無人值守」在原片字幕裡都找不到。
- 原片的重點在評估:她用訂晚餐的 agent 說明,自我改進的迴圈靠裁判的分數決定往哪裡改;裁判只看餐廳評分,系統可能往錯的方向走。
- 文中嵌入兩支原片:附流傳版章節對到原片的時間點,以及一份半小時的看法。
11 月 19 日晚上,Hux(@huxlab)在 X 上發了一則中文貼文,說 Google 剛放出一門近 2 小時的 Harness 工程完整課,可以從零搭出一套 7×24 小時自己進化的 agent 系統。它把課程拆成四層:先搭 harness 底座,再做 eval 工程,接著跑通 loop,最後是一個把真實失敗自動變成下一輪考題的自進化圖系統。結尾說,這套把「看起來對」變成「驗證過、而且能自己變好」的功夫,以前是頂級團隊壓箱底的心法。我看到的時候,它有 13.7 萬次觀看。
我想看這門課,就請 agent 沿著貼文往回找。找到的原片有兩段,比較長的那段是一場直播,到 11 月 20 日有 2,755 次觀看。
這門「Google 兩小時 Harness 課」從哪裡來?
Hux 這則轉引的是 rob.(@robiartec)11 月 18 日的西班牙文貼文。兩則的核心說法相同:Google 剛推出兩小時的免費課、五個章節、比五百美元的課還值得。「7×24 無人值守」「同一個模型差好幾倍」和四層架構,是 Hux 這則另外加的。rob. 的貼文直接附了一支影片,長 1 小時 35 分 11 秒,貼文裡的五個時間點可以點進去跳,60 萬次觀看就是這則帶片貼文累積的。底下有人貼了一個 YouTube 連結,是 Google Cloud Tech 頻道的〈AI harness crash course〉,只有 9 分 27 秒。
長度對不上,所以再往下找。YouTube 上 11 月 13 日已經有一支轉傳影片〈Google Just Released a FREE 2-Hour Harness Engineering Masterclass〉,長度跟 rob. 附的影片相同,說明欄已經寫了同樣的五個章節,也寫了五百美元那句。上傳的頻道只有 7 位訂閱者。這是我找到最早的拼接版本,不一定是源頭。
對過逐字稿,這支影片由兩段組成。前 9 分多鐘是〈AI harness crash course〉,Google Cloud Tech 10 月 22 日發布,講者是 Google Cloud 軟體工程師 Annie Wang。後面約 85 分鐘,是 Annie Wang 10 月 14 日在自己頻道播出的直播〈Agent 102: Agent Evaluation + Self Evolving〉,原長 1 小時 25 分 53 秒。這是她每週一場的 agent 系列直播工作坊,邊操作邊講。中間遇到 API 配額錯誤,有一段評估改用先前跑過的結果;ADK optimize 太花時間,也改用預先準備的指令。
| 貼文的說法 | 出自 | 查到的原片 |
|---|---|---|
| Google 剛剛放出 | 兩則都有 | 短片 10 月 22 日由 Google Cloud Tech 發布;直播 10 月 14 日在講者個人頻道播出;拼接版我找到最早是 11 月 13 日 |
| 近 2 小時的完整課 | 兩則都有 | 9 分 27 秒短片,加上 1 小時 25 分 53 秒直播,合計約 1 小時 35 分 |
| 五個章節:從零搭 harness、第一個 agent、Chief of Staff 評測、Loop 工程、自我改進的圖系統 | rob.;11 月 13 日的 YouTube 說明欄已經有 | 章節標題是重新取的;原片的章節,以及這五個時間點對到原片哪裡,見下一節 |
| 用 Chief of Staff(幕僚長)的標準定義什麼叫好 | 兩則都有(rob. 寫在章節標題裡) | 兩段字幕都找不到 chief 或 staff;直播的評估範例是替五個朋友訂晚餐 |
| 7×24 無人值守的自進化圖系統 | Hux | 示範的是用 router 接回去的改進迴圈;講到正式環境時,講者說當天的實作不包含這部分 |
| 同一個模型,外層不同,產出差好幾倍 | Hux | 兩段字幕都沒找到這個說法 |
還有一個細節:「harness」這個字只出現在前 9 分鐘的短片。後面 85 分鐘的直播講的是 agent 評估和自我改進,字幕裡一次也沒有出現 harness。
我在 Google Cloud Tech 頻道裡搜尋,也翻了直播和課程分頁,沒有找到兩小時的版本。
想看原片,從哪裡看起?
拼接版是別人轉傳的,所以這裡只嵌兩支原片,觀看數也會記回原本的頻道。
短片:AI harness crash course,9 分 27 秒,2026-10-22 首播(來源:Google Cloud Tech YouTube 頻道,講者 Annie Wang)
短片用一個「加 CSV 匯出按鈕」的寫程式任務,把 harness 的四個部分走一遍,說明欄附了 codelab。影片說明分了十四個章節,我合併成幾段(中文是我的譯法):
| 時間 | 內容 |
|---|---|
| 0:00 | 什麼是 AI harness |
| 0:49 | 迴圈:讀檔、修改、測試、把結果回饋給模型 |
| 1:19 | harness 設計的四個部分 |
| 1:40 | 情境與記憶:session、state、長期記憶 |
| 3:37 | 工具與執行流程:Python 函式、MCP、圖狀工作流程 |
| 5:18 | 執行環境、提示注入與隱私 |
| 7:25 | 評估:固定檢查、LLM 評審、人工審查 |
直播:Agent 102: Agent Evaluation + Self Evolving,1 小時 25 分 53 秒,2026-10-14 播出(來源:Annie Wang YouTube 頻道)
直播說明列了七個章節(中文是我的譯法):
| 時間 | 章節 |
|---|---|
| 0:00 | 評估概覽 |
| 22:10 | 評估的類型 |
| 33:42 | 實作自訂指標 |
| 44:15 | 自我改進的邏輯 |
| 55:29 | ADK optimize 與指令調整 |
| 1:07:19 | 建立自動迴圈 |
| 1:24:42 | 問答與結語 |
如果你是從那則貼文來的,貼文列的五個時間點,對到原片大約是下面這些位置。拼接版裡的直播比原片晚約 9 分 24 秒,這是我拿兩邊字幕裡同一句話的時間推算的:
| 流傳版標的 | 原片位置 | 那段實際在講 |
|---|---|---|
| 0:29 從零開始的 harness 工程 | 短片 0:29 | 什麼是 AI harness |
| 11:08 第一個 agent,好好蓋 | 直播 1:44 | 訂晚餐的情境,以及這套迴圈要回答的三個問題 |
| 28:08 用 Chief of Staff agent 做評估工程 | 直播 18:44 | 兩個 agent 結果一樣、過程不同,只看結果不夠 |
| 1:00:13 Loop 工程 | 直播 50:49 | 開始用 ADK optimize 改寫指令 |
| 1:23:19 會自我改進、不會停的圖系統 | 直播 1:13:55 | 正式環境的建議方向,講者說當天不實作 |
只有半小時的話,我會這樣看:短片從頭看完,約 9 分鐘;直播從 18:41 看到 25 分左右,是兩個 agent 的比較,以及跟標準答案比對、讓 LLM 當評審各自的優缺點;接著從 42:08 看自訂評估器怎麼逐座檢查,約 3 分鐘;再從 59:41 看換裁判的示範;最後從 1:07:25 看迴圈怎麼接起來。
直播原片在教什麼?
直播用的是另一個任務:讓 agent 替五個朋友訂晚餐。Marcos 吃素,Priya 對堅果過敏,Yuki 要在某個時間前離開,Tom 有交通上的限制。Annie Wang 開場就說,如果只按評分挑餐廳,挑到的不一定適合每個人,所以要先做一個在乎每個人限制的評估器。接著她攤開整場要回答的三個問題:怎麼知道 agent 有沒有達到目標?agent 要怎麼自動改進?怎麼讓整件事自己跑,直到交出對的答案?
她先介紹 ADK 內建的幾類評估(20:57 起),再說明為什麼這次要自己寫評估器,把評估方式整理成三種(42:08 起):
- 跟標準答案比對:事先寫好預期的回答,甚至預期的工具呼叫順序,再算實際結果有多接近。好控制,前提是標準答案本身要對,而且彈性小。
- 讓 LLM 當評審:不必準備標註好的答案,適合開放式的問題。她提醒,評審本身可能出錯,分數也可能隨時間漂移。這一種當天只介紹,沒有實作。
- 自己寫評估器:這次實作用的是一段固定的程式邏輯,逐座檢查每個人能不能在那家餐廳吃飯,再算出分數。
她也講了為什麼只看結果不夠(18:41 起)。兩個 agent 都把餐廳訂好了:A 先查行事曆確認大家有空、查了營業時間才訂;B 跳過行事曆,用猜的時間,剛好猜對。只看結果,兩個一樣好;B 上線之後換一個任務,就可能出錯,因為它做事的過程沒有被量到。
裁判選錯,自我改進的迴圈會往哪裡走?
評估做好之後,她把評估和改進接成一個迴圈(1:07:25 起)。負責訂位的 agent 先做一次,裁判用自訂指標打分,再交給一個 router 判斷:分數沒達標,就交給提案者用 ADK optimize 改寫 agent 的指令;改好的指令存在整個流程共用的狀態裡,下一輪 agent 讀到的就是新指令;分數達標,才放行。她說 ADK optimize 跑一次大約要八到十分鐘,會試三十個左右的候選指令,所以直播時改用預先準備好的指令示範。
直播 59:41 起,她換上一份被動過手腳的指令,再換一個只替餐廳本身打分的裁判。她的結論是:只看餐廳好不好,對這個系統來說不是好裁判;替自我改進的系統選裁判很重要,裁判選錯,系統可能整個往錯的方向走。她也說這只是一個簡短的例子,因為時間關係,這段示範沒有完整跑完。
我把這段讀成整場直播的重點。迴圈本身只負責「再改一次」,往哪個方向改,由裁判決定。裁判看錯東西,迴圈跑得越勤快,偏得越遠。
貼文裡「把真實失敗自動變成下一輪考題」也有出處,在直播接近尾聲的地方(1:13:57 起)。她說,如果部署在 Google Cloud,可以開 BigQuery 外掛,把每一則使用者訊息和 agent 回應都記成資料表,用自訂指標重新打分,沒過的放進訓練資料,讓下一輪改寫時用上。她把這個講成「可以走的一個方向」,也先說了當天的實作不包含正式環境。「7×24 無人值守」在兩段字幕裡都找不到。
直播收尾時,她說自己特別喜歡評估這部分:現在大家都在做 agent,系統有多可靠、多好,是有意思也重要的問題。
我自己的評分系統,遇過什麼?
這種事我在自己的系統上遇過,形狀沒有那麼明顯。
我做過一套翻譯品質評分系統 TQEF。加進三本產業辭典和一組商業用語規則之後,下一輪分數從 4.69 升到 4.97,滿分 5。後來我在〈Harness 會換,Criteria 也要校準〉裡寫:這是這套評分器對那 29 句測試語料的判斷,評分器本身當時還沒完成交叉驗證,不能當成辭典有效的證明。分數在升,裁判自己當時還沒被驗過。
這個月寫〈一個月三千個 PR 的前提〉時,我把 74 條糾正紀錄重新分類,發現三處我以為在把關的檢查,驗的是錯的版本。例如原文改過之後只重翻一個語系,另外兩個語系的舊譯會被記成已經更新。檢查還在,紀錄上也顯示已經更新,驗的卻是錯的版本。這三處當時還沒修,列在下一步。
Annie Wang 那個只看餐廳評分的裁判,至少一眼看得出不對。我遇到的版本,分數在升、紀錄顯示已經更新,看起來都正常。
這則貼文是怎麼一路傳開的?
回頭看這則貼文的旅程:11 月 13 日,YouTube 上出現拼接影片,說明欄寫好了五個章節,查核時有 269 次觀看;11 月 18 日,rob. 把同一長度的影片直接附在西班牙文貼文裡,60 萬次觀看;11 月 19 日,Hux 的中文貼文轉引 rob.,13.7 萬次。章節內容從英文說明欄、西班牙文,一路沿用到中文版的四層架構。
我的讀法是,這也是一個迴圈。每轉一次,通過的都是「有沒有人看」這個裁判;這個裁判不看章節是不是原片的。章節最早我看到是在 11 月 13 日的說明欄,再早的源頭我查不到,也不知道轉貼的人有沒有看過原片;我能確定的是,章節標題打開原片就對不上。
上個月我拆過另一則爆紅貼文,前面是 AGI 恐慌,最後叫你去讀 harness 指南(〈一則 AGI 恐慌貼文,最後叫你去讀一份工程指南〉)。這次的形狀不同,沒有恐慌,只有一個好消息。查核的步驟一樣:找原片,對日期、長度和章節。
先問裁判在看什麼
兩支原片都嵌在上面,可以免費看;時間不多,就照前面那份半小時的看法。
貼文自己也說,沒有測試、評判、回饋和自動迭代,算不上「工程閉環」。我照這句話做了一次檢查,最花時間的一步是打開原片、對時間點。
下次看到「某大廠剛放出免費課」,我會先找原片的頻道、日期和長度。替自己的 agent 加一個會自動改進的迴圈之前,我會先問:它的裁判在看什麼。
想看更多 AI 與人機協作的討論:智能與秩序。外部裁判怎麼搭、多家 AI 互審為什麼還不夠,我寫在〈想讓 AI 做更大的事,先把抓錯的機制搭好〉。
常見問題
Q: Google 真的推出了一門兩小時的免費 Harness 工程課嗎?
依 2026 年 11 月 20 日查到的原片,流傳的那支約 1 小時 35 分的影片由兩段拼成:Google Cloud Tech 10 月 22 日發布的 9 分 27 秒短片〈AI harness crash course〉,以及講者 Annie Wang 10 月 14 日在個人頻道播出的直播〈Agent 102: Agent Evaluation + Self Evolving〉(1 小時 25 分 53 秒)。兩段都可以免費看,講者是 Google Cloud 軟體工程師;但我在 Google Cloud Tech 頻道的影片、直播與課程分頁,都沒有找到兩小時版本。
Q: 這兩支原片在教什麼?
短片介紹 AI harness 的四個部分:情境與記憶、工具與執行流程、執行環境與安全隱私、評估。直播用一個替五個朋友訂晚餐的 agent,介紹三種評估方式(跟標準答案比對、讓 LLM 當評審、自己寫評估器),實作示範的是標準答案比對和自訂評估器;再用 ADK optimize 改寫 agent 的指令,最後用 ADK workflow 的 router 把評估和改寫接成一個迴圈。
Q: 為什麼裁判選錯,會讓自我改進的 agent 變差?
這個迴圈靠裁判的分數決定要不要再改、往哪裡改。Annie Wang 在直播裡說,如果只看餐廳本身的評分,挑到的不一定適合每個人,這樣的裁判對這個系統不是好裁判;裁判選錯,系統可能整個往錯的方向走。她也提醒,讓 LLM 當評審時,評審本身可能出錯,分數也可能隨時間漂移。
查核方式
這篇的查核由我的 agent 沿著貼文往回追,我核對結果;另外由一個沒參與撰寫的 agent 重新打開原片與貼文,逐條再查一次。標題、日期、長度、章節與觀看數,以 2026 年 11 月 20 日 X 與 YouTube 頁面上看到的為準,日期與時間是台灣時間。直播與拼接版的逐字稿是 YouTube 自動字幕,短片是頻道上傳的字幕;文中「找不到」指在字幕裡搜尋不到,不排除自動字幕聽錯字。
參考資料
- Google Cloud Tech(講者 Annie Wang),AI harness crash course,YouTube,2026 年 10 月 22 日,9 分 27 秒
- Annie Wang,Agent 102: Agent Evaluation + Self Evolving,YouTube 直播,2026 年 10 月 14 日,1 小時 25 分 53 秒
- Annie Wang,AI harness codelabs
- rob.(@robiartec),X 貼文,2026 年 11 月 18 日(附 1 小時 35 分 11 秒的拼接影片)
- Hux(@huxlab),X 貼文,2026 年 11 月 19 日
- Anonymous Files,Google Just Released a FREE 2-Hour Harness Engineering Masterclass (Beginner to Advanced!),YouTube,2026 年 11 月 13 日(拼接轉傳版)


💬 留言討論
載入中...