Zoom の会議を翻訳する — 遅延という代償

三つの選択肢、三つの壊れ方

ライブ字幕。 Zoom が字幕と翻訳を出す。いちばん安く、そして静かに失敗する。誤訳された文は正しい文とまったく同じ見た目で、会議中の誰も気づかない。

人間の通訳。 正確で、すべてを二度言うため会議はおよそ倍になる。契約交渉には見合うが、毎週のスタンドアップには正当化しにくい。

音声間翻訳ツール。 機械が訳を声に出す。会話を保てる速さで、自信ありげな口調のまま間違える。

遅延はどこから来るか

三つが積み上がる。話者が一区切り言い終えるのを待つ時間、翻訳そのもの、音声の生成。過小評価されがちなのは最初のものだ。文の切れ目を待つ方式は正確だが遅く感じ、早めに始める方式は反応がよく感じられる代わりに途中で言い直す。

発話全体を待たずに音声合成をストリーミングすると、合計から目に見えて削れる。使えると感じるツールとそうでないツールの差は、ほぼここにある。

ベトナム語が難しい理由

声調が意味を担うため、声調記号を落とす認識器は「実在するが別の語」を出す。ベトナム語は英語や中国語より学習データが少なく、多くのモデルは朗読音声で調整されていて、回線の悪い環境で三人が被せて話す状況ではない。

会議のあとに何をするか

価値が高いのはライブ翻訳より文字起こしのほうだ。決定事項に印をつけて会議後に配れば、一文聞き逃した人は尋ねずに読める。それが会議アシスタントの役割で、リアルタイム翻訳は会話そのものを担う。