6.4%。

這個數字曾讓我很興奮。在一段日文半導體技術影片上,Google Chirp 3的輸出,和我拿來比對的字幕相差不大。同一段素材送進另一套配置,記錄下來的差異大得多。

我當時把它寫成「從堪用跳到可商用」。回頭看,從一個漂亮的分數走到這個結論,中間少了幾個必要的確認。

我需要的其實很具體:日本客戶談交期、品質異常、下一步安排時,工具要能幫我理解,而不是用一串看似流暢的字把我帶偏。這個需要沒有變,但測試得先說清楚自己量到了什麼。

先問參考字幕是不是正確答案

當時我選了四段日文影片,各取前三分鐘,送進兩套辨識配置,再和YouTube自動生成字幕比較。我把得到的指標叫作CER,也就是字元錯誤率。

這個計算通常會比較辨識文字與參考稿,計入替換、刪除和插入,再除以參考稿的字元數。關鍵在於,公式不會替我判斷參考稿是否正確。

自動字幕本身也可能聽錯。同一個詞,兩套系統可能一起錯;某個引擎也可能辨識正確,卻因為和錯誤字幕不同而被扣分。日文的漢字、假名、數字與標點如何統一,也會影響比較結果。

所以,在沒有人工聽音校正參考稿之前,我比較願意把這些數值稱為對參考字幕的字元差異率。它能描述兩份文字差多少,還不能直接告訴我每一百個字究竟聽錯幾個。

原本那張結果表,還能告訴我什麼

下表保留原文當時記錄的結果,並非這次重新執行的測試。Groq Whisper與Chirp 3兩欄代表各自搭配切片和提示設定的整套配置。

素材類型Groq Whisper配置Chirp 3配置
國際新聞解說52.5%9.2%
半導體商務分析61.6%25.5%
半導體技術解說36.5%6.4%
商務會話40.6%13.0%

在這四次比較中,Chirp 3配置的輸出都比較接近參考字幕。這是值得保留的觀察,也是我繼續測它的理由。

但這不是四種場景已被充分代表。每類只有一段素材,網路上的解說影片也未必能代表多人插話、收音不穩或專有名詞密集的真實會議。這次改寫沒有重新取得音檔、人工參考稿與完整計算紀錄,也沒有重跑比較;表內數值的可重現性仍待補驗。

把四個數值平均,再算出一個改善百分比,並不會補上這些缺口。何況錯誤率的相對下降,也不能直接改稱「精準度提升了同樣百分比」。

我比較的是兩套配置

原本的Groq配置用五秒切片,Chirp 3配置用十五秒;後者還加入了約一千個商務術語。模型、語音脈絡長度、提示內容一起變了。

因此,我不能從結果表分別斷言:模型本身貢獻多少、術語表貢獻多少、較長切片又改善多少。若要知道其中一項的影響,至少要固定其他條件,再比較有無該項設定的結果。

對使用者而言,整套配置的比較仍然有價值。我買的不是一個抽離工作流程的模型名稱,而是一份最後能不能用的紀錄。只要把條件交代清楚,就能討論這套組合是否值得進一步採用。

Google目前的Chirp 3官方文件列有語言、方法與功能的支援資訊。真正實作時,還是要核對所用區域、方法及功能,不能把我當年的配置數字當成今天的通用規格。

商務紀錄要檢查哪些字

我做「即時會議記錄|阿哥拉廣場」,是希望用AI協作補足跨語言工作的能力。但「取引先」「発注書」「ご指導のほど」等詞辨識出問題時,文字反而干擾理解。這些原本的使用經驗,比一張勝負表更能說明我為什麼要繼續測。

驗收時,我會把兩件事一起看。一件是整段內容是否完整,另一件是那些會改變行動的字,有沒有被保留下來:公司與人名、交期、數量、金額,以及否定和條件句。

一段紀錄可能大多數字都對,卻把「尚未核准」記成「已經核准」。平均分數不差,工作仍可能做錯。反過來,標點或字形差異造成的扣分,未必同樣影響決策。

比較可靠的試用方式,是在獲得同意的代表性會議素材上,先做一份人工確認的參考稿。固定素材與文字正規化規則,再比較完整配置;若要追原因,才逐項改變切片或術語設定。最後還要量人工修正需要多少時間,而不是只看跑出來的那個百分比。

費用要和修正工作一起算

原文曾用每分鐘0.016美元,試算一小時0.96美元。這裡保留它作為當時的計算假設,不代表目前報價;採購仍要按實際服務與計費條件確認。

更需要收回的,是花這筆錢就能「每個術語都對」「不再人工修正」的承諾。這四段比較沒有證明這些事。

對我來說,有用的成本比較應把辨識費、翻譯費、等待時間與人工修正放在同一張工作單上。較長切片若讓使用者等得太久,即使文字較完整,也可能不適合即時字幕。某套配置若能少花一些修正時間,才有進一步計算其價值的依據。

免費和付費都只是條件之一。沒有必要為了付費產品贏了一次小測試,就把免費工具說成陷阱。

四格漫畫:什麼才算會議紀錄可用?公式不會替我判斷參考稿是否正確。模型、語音脈絡長度、提示內容一起變了。但這不是四種場景已被充分代表。每類只有一段素材,我想先把參考稿打開,聽一次那句會決定交期的話。先把參考稿打開,

按工作風險選,別按按鈕名稱放心

我曾採用按語言與使用模式分流的設計,讓日文商務模式使用Chirp 3,其他情境選擇不同引擎。這裡談的是當時的設計經驗,沒有重新稽核目前工具的路由或各供應商方案。

這種做法值得保留的,是讓配置配合工作需要。需要快速掌握大意的字幕,和準備交給客戶確認的會議紀錄,可以有不同的延遲與驗收要求。兩者都不應因為按鈕叫「商務模式」,就被當成已經確認過的文字。

我仍願意為跨語言溝通付出合理成本。但下一次看到6.4%時,我想先把參考稿打開,聽一次那句會決定交期的話。