6.4%。

这个数字曾让我很兴奋。在一段日文半导体技术视频上,Google Chirp 3的输出,和我拿来比对的字幕相差不大。同一段素材送进另一套配置,记录下来的差异大得多。

我当时把它写成「从堪用跳到可商用」。回头看,从一个漂亮的分数走到这个结论,中间少了几个必要的确认。

我需要的其实很具体:日本客户谈交期、品质异常、下一步安排时,工具要能帮我理解,而不是用一串看似流畅的字把我带偏。这个需要没有变,但测试得先说清楚自己量到了什么。

先问参考字幕是不是正确答案

当时我选了四段日文视频,各取前三分钟,送进两套识别配置,再和YouTube自动生成字幕比较。我把得到的指标叫作CER,也就是字符错误率。

这个计算通常会比较识别文字与参考稿,计入替换、删除和插入,再除以参考稿的字符数。关键在于,公式不会替我判断参考稿是否正确。

自动字幕本身也可能听错。同一个词,两套系统可能一起错;某个引擎也可能识别正确,却因为和错误字幕不同而被扣分。日文的汉字、假名、数字与标点如何统一,也会影响比较结果。

所以,在没有人工听音校正参考稿之前,我比较愿意把这些数值称为对参考字幕的字符差异率。它能描述两份文字差多少,还不能直接告诉我每一百个字究竟听错几个。

原本那张结果表,还能告诉我什么

下表保留原文当时记录的结果,并非这次重新执行的测试。Groq Whisper与Chirp 3两栏代表各自搭配切片和提示设定的整套配置。

素材类型Groq Whisper配置Chirp 3配置
国际新闻解说52.5%9.2%
半导体商务分析61.6%25.5%
半导体技术解说36.5%6.4%
商务会话40.6%13.0%

在这四次比较中,Chirp 3配置的输出都比较接近参考字幕。这是值得保留的观察,也是我继续测它的理由。

但这不是四种场景已被充分代表。每类只有一段素材,网络上的解说视频也未必能代表多人插话、收音不稳或专有名词密集的真实会议。这次改写没有重新取得音档、人工参考稿与完整计算纪录,也没有重跑比较;表内数值的可重现性仍待补验。

把四个数值平均,再算出一个改善百分比,并不会补上这些缺口。何况错误率的相对下降,也不能直接改称「精准度提升了同样百分比」。

我比较的是两套配置

原本的Groq配置用五秒切片,Chirp 3配置用十五秒;后者还加入了约一千个商务术语。模型、语音脉络长度、提示内容一起变了。

因此,我不能从结果表分别断言:模型本身贡献多少、术语表贡献多少、较长切片又改善多少。若要知道其中一项的影响,至少要固定其他条件,再比较有无该项设定的结果。

对用户而言,整套配置的比较仍然有价值。我买的不是一个抽离工作流程的模型名称,而是一份最后能不能用的纪录。只要把条件交代清楚,就能讨论这套组合是否值得进一步采用。

Google目前的Chirp 3官方文件列有语言、方法与功能的支援资讯。真正实作时,还是要核对所用区域、方法及功能,不能把我当年的配置数字当成今天的通用规格。

商务纪录要检查哪些字

我做「即时会议记录|阿哥拉广场」,是希望用AI协作补足跨语言工作的能力。但「取引先」「発注書」「ご指導のほど」等词识别出问题时,文字反而干扰理解。这些原本的使用经验,比一张胜负表更能说明我为什么要继续测。

验收时,我会把两件事一起看。一件是整段内容是否完整,另一件是那些会改变行动的字,有没有被保留下来:公司与人名、交期、数量、金额,以及否定和条件句。

一段纪录可能大多数字都对,却把「尚未核准」记成「已经核准」。平均分数不差,工作仍可能做错。反过来,标点或字形差异造成的扣分,未必同样影响决策。

比较可靠的试用方式,是在获得同意的代表性会议素材上,先做一份人工确认的参考稿。固定素材与文字正规化规则,再比较完整配置;若要追原因,才逐项改变切片或术语设定。最后还要量人工修正需要多少时间,而不是只看跑出来的那个百分比。

费用要和修正工作一起算

原文曾用每分钟0.016美元,试算一小时0.96美元。这里保留它作为当时的计算假设,不代表目前报价;采购仍要按实际服务与计费条件确认。

更需要收回的,是花这笔钱就能「每个术语都对」「不再人工修正」的承诺。这四段比较没有证明这些事。

对我来说,有用的成本比较应把识别费、翻译费、等待时间与人工修正放在同一张工作单上。较长切片若让用户等得太久,即使文字较完整,也可能不适合即时字幕。某套配置若能少花一些修正时间,才有进一步计算其价值的依据。

免费和付费都只是条件之一。没有必要为了付费产品赢了一次小测试,就把免费工具说成陷阱。

四格漫画:什么才算会议纪录可用?公式不会替我判断参考稿是否正确。模型、语音脉络长度、提示内容一起变了。但这不是四种场景已被充分代表。每类只有一段素材,我想先把参考稿打开,听一次那句会决定交期的话。先把参考稿打开,

按工作风险选,别按按钮名称放心

我曾采用按语言与使用模式分流的设计,让日文商务模式使用Chirp 3,其他情境选择不同引擎。这里谈的是当时的设计经验,没有重新稽核目前工具的路由或各供应商方案。

这种做法值得保留的,是让配置配合工作需要。需要快速掌握大意的字幕,和准备交给客户确认的会议纪录,可以有不同的延迟与验收要求。两者都不应因为按钮叫「商务模式」,就被当成已经确认过的文字。

我仍愿意为跨语言沟通付出合理成本。但下一次看到6.4%时,我想先把参考稿打开,听一次那句会决定交期的话。