数字を鵜呑みにしないためのテスト

各社が出している認識精度は、音声も言語も測り方も同じとは限りません。その数字を横に並べてもフェアじゃない。カイギログでは、まったく同じ日本語音声を同じ形式で入れて比べます。

テスト音声

音声条件確認したいこと
A静かな部屋・1人基本的な文章の認識
B2人の会話を想定話者の切り替え、発言の分離
C人名・日付・金額・英単語固有名詞と数字の正確さ
D軽い環境音雑音がある状況での崩れ方

台本は架空の内容で作成し、個人情報や実在顧客の情報を含めません。各サービスへ同じ音声ファイルをアップロードし、言語は日本語に設定します。

文字誤り率（CER）

正解文と文字起こし結果を比較し、置換、削除、挿入された文字数を数えます。

CER =（置換数 + 削除数 + 挿入数）÷ 正解文の文字数

数値が低いほど、正解文との差が少ないことを示します。表記揺れ、句読点、空白の扱いは、公開する正規化ルールに従います。

CER以外の確認

  • 人名と製品名
  • 日付と時刻
  • 金額と数量
  • 否定表現
  • 決定事項
  • 担当者と期限を含むToDo
  • 話者識別

単純な文字数だけでは、意味が逆になる誤りや重要な数字の誤りを評価しきれません。そのため、重要語の正誤と要約内容を別に採点します。

結果

再現性と更新

テスト日、使用プラン、アプリまたはWeb版のバージョン、入力形式、言語設定を記録します。3か月ごとを目安に再テストし、モデルや仕様変更で結果が変わった場合は新旧の結果を区別します。