基本ルール
検証条件は会議テーマごとに決め、比較する商品やサービスにはできる限り同じ条件を適用します。都合のよい結果だけを選びません。
現在公開している議事録AIの会議では、複数サービスへ同じ日本語音声を入力して比較します。
テスト音声は個人情報、顧客名、勤務先情報、機密情報を含まない架空の台本を使用します。
100点満点の採点
| 項目 | 配点 | 主な確認内容 |
|---|---|---|
| 日本語文字起こし精度 | 30 | 文字誤り率、数字、固有名詞 |
| 要約品質 | 20 | 結論、決定事項、ToDo |
| 操作性 | 15 | 登録、録音、確認、修正、共有 |
| 料金・無料枠 | 15 | 無料で試せる範囲、有料化後の負担 |
| 会議・外部サービス連携 | 10 | Zoom、Teams、Meet、カレンダー等 |
| セキュリティ情報の明確さ | 10 | 保存、削除、AI学習、認証の説明 |
日本語精度の主指標には文字誤り率（CER）を使用します。CERが低いほど、正解文との差が少ないことを示します。数字、日付、人名、製品名は、CERとは別に正誤を記録します。
製品や料金プランによって利用できる機能が異なる場合は、使用したプランを明記します。採点基準を変更した場合は、過去記事との単純比較ができないことを表示します。