6.4%。

この数字には興奮した。日本語の半導体技術解説動画で、Google Chirp 3の出力は比較用字幕との差が小さかった。同じ素材をもう一つの構成に渡すと、記録された差はずっと大きかった。

私はそれを「使える段階から商用に耐える段階へ」と書いた。振り返ると、見栄えのよい点数からその結論へ進む途中に、必要な確認が抜けていた。

求めていたのは具体的なことだ。日本の顧客が納期、品質問題、次の対応を話すとき、流暢そうな文字で判断を誤らせず、理解を助けてほしい。その必要は変わらない。ただ、試験は何を測ったかを先に説明しなければならない。

参照字幕は本当に正解か

当時は日本語動画を四本選び、それぞれ冒頭三分を二つの認識構成に渡し、YouTubeの自動生成字幕と比較した。得られた指標をCER、文字誤り率と呼んだ。

通常この計算は、認識文字と参照稿の置換、削除、挿入を数え、参照稿の文字数で割る。重要なのは、式が参照稿の正しさまで判定してくれるわけではないことだ。

自動字幕も聞き間違える。同じ語を二つのシステムが同じように間違えることもある。逆に、認識が正しくても誤った字幕と違うために減点されることもある。漢字、仮名、数字、句読点の統一方法も結果を左右する。

音声を聞いて人が参照稿を確認するまでは、この値を参照字幕に対する文字単位の差異率と呼ぶほうがよいと思う。二つの文字列がどれほど違うかは示せるが、百文字中何文字を聞き間違えたかまでは直接わからない。

元の結果表から、なお言えること

次の表は原文に記録された値を残したもので、今回再実行した試験ではない。各列は分割方法と提示設定を含む構成全体を表す。

素材の種類Groq Whisper構成Chirp 3構成
国際ニュース解説52.5%9.2%
半導体ビジネス分析61.6%25.5%
半導体技術解説36.5%6.4%
ビジネス会話40.6%13.0%

この四回の比較では、いずれもChirp 3構成の出力が参照字幕に近かった。この観察は残す価値があり、さらに試す理由になる。

ただし、四種類の場面を十分に代表したことにはならない。各分類に素材は一本しかない。ネット上の解説動画が、発言の重なり、録音の不安定さ、専門用語の密集する実際の会議を代表するとも限らない。今回の改稿では音声、人が確認した参照稿、完全な計算記録を取り直しておらず、比較も再実行していない。記録された値の再現性は、なお確認が必要だ。

四つの値を平均し改善率を計算しても、その不足は埋まらない。また、誤り指標の相対的な低下を、そのまま同じ割合の「精度向上」と呼ぶこともできない。

比較したのは二つの構成だった

元のGroq構成は五秒単位、Chirp 3構成は十五秒単位に音声を分割し、後者には約千のビジネス用語も加えていた。モデル、音声の文脈長、提示内容が同時に変わっていた。

そのため、表からモデル自体、用語集、長い音声区間がそれぞれどれだけ寄与したかは言えない。一要因の影響を知るには、少なくとも他の条件を固定して、その要因の有無を比較する必要がある。

構成全体の比較にも利用者にとって価値はある。選ぶのは、仕事から切り離されたモデル名ではなく、最終的に使える記録だ。条件を説明すれば、その組み合わせをさらに採用検証する価値があるかを議論できる。

Googleの現在のChirp 3公式資料には、言語、認識方法、機能の対応情報がある。実装時には使う地域、方法、機能を確認する必要があり、当時の私の設定値を今日の共通仕様とはみなせない。

会議記録では、どの言葉を確認するか

「リアルタイム会議記録|アゴラ広場」を作ったのは、AIとの協働で言語をまたぐ仕事を補いたかったからだ。ところが「取引先」「発注書」「ご指導のほど」などを誤認識すると、文字が理解を妨げた。こうした元々の利用経験のほうが、勝敗表よりも試験を続ける動機を説明している。

検収では、全体の抜け漏れと、行動を変える言葉を一緒に見る。会社名、人名、納期、数量、金額、否定や条件の表現だ。

多くの文字が正しくても、「まだ承認されていない」が「承認された」になれば、平均点がよくても仕事を誤る。逆に句読点や表記差の減点が、同じだけ意思決定に響くとは限らない。

より確かな試用方法は、同意を得た代表的な会議素材で、人が確認した参照稿を先に作ることだ。素材と表記統一ルールを固定して構成全体を比較し、原因を追うときに分割や用語設定を一つずつ変える。最後は百分率だけでなく、人による修正時間も測る。

費用と修正作業を一緒に数える

原文では一分0.016米ドルとして、一時間0.96米ドルと試算した。ここでは当時の計算上の仮定として残しており、現在の見積価格ではない。調達時には実際のサービスと課金条件を確認する必要がある。

より重要なのは、その額を払えば「すべての用語が正しい」「人による修正は不要」という約束を取り下げることだ。四本の比較はそれを証明していない。

費用比較では、認識料、翻訳料、待ち時間、修正作業を同じ作業表に載せたい。長い区間で文字が整っても、待ち時間が長すぎればリアルタイム字幕には向かないかもしれない。修正時間が減ると確かめてから、その価値を計算できる。

無料か有料かは条件の一つにすぎない。有料製品が小さな試験に勝ったからといって、無料ツールを落とし穴と呼ぶ必要はない。

4コマ漫画:会議記録が使えるとはどういうことか、式が参照稿の正しさまで判定してくれるわけではない、モデル、音声の文脈長、提示内容が同時に変わっていた。四種類の場面を十分に代表したことにはならない。各分類に素材は一本しかない。まず参照稿を開き、納期を決めるその一文を聞き直したい。まず参照稿を開き、

ボタン名ではなく、仕事のリスクで選ぶ

私は言語と利用モードで振り分け、日本語のビジネスモードをChirp 3、他の場面を別のエンジンにする設計を採用したことがある。これは当時の経験であり、現在の経路や各社のプランを改めて監査したものではない。

残すべき考え方は、仕事に構成を合わせることだ。概要を素早く知る字幕と、顧客に確認してもらう議事録では、遅延や検収の要求が違ってよい。どちらも「ビジネスモード」というボタン名だけで、確認済みの文字になったわけではない。

言語をまたぐ意思疎通には、今も合理的な費用を払いたい。ただ、次に6.4%を見たときは、まず参照稿を開き、納期を決めるその一文を聞き直したい。