6.4%。
这个数字曾让我很兴奋。在一段日文半导体技术视频上,Google Chirp 3的输出,和我拿来比对的字幕相差不大。同一段素材送进另一套配置,记录下来的差异大得多。
我当时把它写成「从堪用跳到可商用」。回头看,从一个漂亮的分数走到这个结论,中间少了几个必要的确认。
我需要的其实很具体:日本客户谈交期、品质异常、下一步安排时,工具要能帮我理解,而不是用一串看似流畅的字把我带偏。这个需要没有变,但测试得先说清楚自己量到了什么。
先问参考字幕是不是正确答案
当时我选了四段日文视频,各取前三分钟,送进两套识别配置,再和YouTube自动生成字幕比较。我把得到的指标叫作CER,也就是字符错误率。
这个计算通常会比较识别文字与参考稿,计入替换、删除和插入,再除以参考稿的字符数。关键在于,公式不会替我判断参考稿是否正确。
自动字幕本身也可能听错。同一个词,两套系统可能一起错;某个引擎也可能识别正确,却因为和错误字幕不同而被扣分。日文的汉字、假名、数字与标点如何统一,也会影响比较结果。
所以,在没有人工听音校正参考稿之前,我比较愿意把这些数值称为对参考字幕的字符差异率。它能描述两份文字差多少,还不能直接告诉我每一百个字究竟听错几个。
原本那张结果表,还能告诉我什么
下表保留原文当时记录的结果,并非这次重新执行的测试。Groq Whisper与Chirp 3两栏代表各自搭配切片和提示设定的整套配置。
| 素材类型 | Groq Whisper配置 | Chirp 3配置 |
|---|---|---|
| 国际新闻解说 | 52.5% | 9.2% |
| 半导体商务分析 | 61.6% | 25.5% |
| 半导体技术解说 | 36.5% | 6.4% |
| 商务会话 | 40.6% | 13.0% |
在这四次比较中,Chirp 3配置的输出都比较接近参考字幕。这是值得保留的观察,也是我继续测它的理由。
但这不是四种场景已被充分代表。每类只有一段素材,网络上的解说视频也未必能代表多人插话、收音不稳或专有名词密集的真实会议。这次改写没有重新取得音档、人工参考稿与完整计算纪录,也没有重跑比较;表内数值的可重现性仍待补验。
把四个数值平均,再算出一个改善百分比,并不会补上这些缺口。何况错误率的相对下降,也不能直接改称「精准度提升了同样百分比」。
我比较的是两套配置
原本的Groq配置用五秒切片,Chirp 3配置用十五秒;后者还加入了约一千个商务术语。模型、语音脉络长度、提示内容一起变了。
因此,我不能从结果表分别断言:模型本身贡献多少、术语表贡献多少、较长切片又改善多少。若要知道其中一项的影响,至少要固定其他条件,再比较有无该项设定的结果。
对用户而言,整套配置的比较仍然有价值。我买的不是一个抽离工作流程的模型名称,而是一份最后能不能用的纪录。只要把条件交代清楚,就能讨论这套组合是否值得进一步采用。
Google目前的Chirp 3官方文件列有语言、方法与功能的支援资讯。真正实作时,还是要核对所用区域、方法及功能,不能把我当年的配置数字当成今天的通用规格。
商务纪录要检查哪些字
我做「即时会议记录|阿哥拉广场」,是希望用AI协作补足跨语言工作的能力。但「取引先」「発注書」「ご指導のほど」等词识别出问题时,文字反而干扰理解。这些原本的使用经验,比一张胜负表更能说明我为什么要继续测。
验收时,我会把两件事一起看。一件是整段内容是否完整,另一件是那些会改变行动的字,有没有被保留下来:公司与人名、交期、数量、金额,以及否定和条件句。
一段纪录可能大多数字都对,却把「尚未核准」记成「已经核准」。平均分数不差,工作仍可能做错。反过来,标点或字形差异造成的扣分,未必同样影响决策。
比较可靠的试用方式,是在获得同意的代表性会议素材上,先做一份人工确认的参考稿。固定素材与文字正规化规则,再比较完整配置;若要追原因,才逐项改变切片或术语设定。最后还要量人工修正需要多少时间,而不是只看跑出来的那个百分比。
费用要和修正工作一起算
原文曾用每分钟0.016美元,试算一小时0.96美元。这里保留它作为当时的计算假设,不代表目前报价;采购仍要按实际服务与计费条件确认。
更需要收回的,是花这笔钱就能「每个术语都对」「不再人工修正」的承诺。这四段比较没有证明这些事。
对我来说,有用的成本比较应把识别费、翻译费、等待时间与人工修正放在同一张工作单上。较长切片若让用户等得太久,即使文字较完整,也可能不适合即时字幕。某套配置若能少花一些修正时间,才有进一步计算其价值的依据。
免费和付费都只是条件之一。没有必要为了付费产品赢了一次小测试,就把免费工具说成陷阱。
按工作风险选,别按按钮名称放心
我曾采用按语言与使用模式分流的设计,让日文商务模式使用Chirp 3,其他情境选择不同引擎。这里谈的是当时的设计经验,没有重新稽核目前工具的路由或各供应商方案。
这种做法值得保留的,是让配置配合工作需要。需要快速掌握大意的字幕,和准备交给客户确认的会议纪录,可以有不同的延迟与验收要求。两者都不应因为按钮叫「商务模式」,就被当成已经确认过的文字。
我仍愿意为跨语言沟通付出合理成本。但下一次看到6.4%时,我想先把参考稿打开,听一次那句会决定交期的话。


💬 留言讨论
加载中...