音声から音声への翻訳のしくみ：STT → MT → TTS をやさしく解説

翻訳アプリに向かって話すと何が起きるのか

ボタンを押して英語で一文話すと、1秒後にはフランス語が聞こえてきます。まるで魔法のようです。その裏では、三つの異なる技術が順番に動いていて、それぞれに得意なこと、苦手なこと、失敗しやすいパターンがあります。

このパイプライン（STT、MT、TTS）を理解すると、翻訳が複雑な文を見事に訳す一方で、簡単な名前をめちゃくちゃにすることがある理由がわかります。より良い結果を得るための話し方もわかります。

第1段階：音声認識（STT）

音声認識（Speech-to-Text）は自動音声認識（ASR）とも呼ばれ、話された音声を、話したのと同じ言語の文字に変換します。

スマホに向かって「Where is the nearest pharmacy?」（一番近い薬局はどこですか？）と言うと、音声認識エンジンは「Where is the nearest pharmacy?」という文字列を出力します。

しくみ。最新の音声認識システムは、ラベル付きの音声数千時間分で学習したニューラルネットワークのモデルを使っています。Google Research は、中間の音素表現を介さずに音声の波形を直接テキストに対応づける、エンドツーエンドの音声認識モデルについて数多くの研究を発表しています。Meta の wav2vec と自己教師あり学習の研究は、ラベルのない音声から学習するモデルへと分野を押し進め、学習データの少ない言語の認識を向上させました。

苦手なこと。音声認識が苦手なのは次のようなものです。

• 学習データにない固有名詞（人名、通り、ブランド）
• 学習データで十分に扱われていない強いなまりや方言
• 話し声と競合する周囲の騒音
• 速い話し方や口ごもった話し方
• 文の途中での言語の切り替え

この段階の誤りは、すべて後の段階に引き継がれます。音声認識が「pharmacy」ではなく「farmacy」と聞き取れば、翻訳の段階には間違った入力が渡ります。

第2段階：機械翻訳（MT）

機械翻訳は、テキストをある言語から別の言語に変換します。音声認識の出力「Where is the nearest pharmacy?」は、「Où est la pharmacie la plus proche?」になります。

しくみ。ニューラル機械翻訳（NMT）のモデルは、二つの言語の対訳コーパスで学習し、言語をまたいで意味を対応づけることを覚えます。Google Research の Transformer アーキテクチャは、この分野に革命をもたらしました。Meta の NLLB（No Language Left Behind）プロジェクトは、それまで十分な機械翻訳がなかった数百の言語に、高品質な翻訳を広げました。

苦手なこと。機械翻訳が苦手なのは次のようなものです。

• 文字どおりには翻訳できない慣用句や文化的な表現
• 文脈によって意味が決まるあいまいな単語
• 非常に長い文や、構文が複雑な文
• 学習データが少ない言語の組み合わせ

英語とフランス語や英語とスペイン語のように対応が充実した組み合わせでは、素直な文なら機械翻訳の精度は高くなります。慣用的な内容や専門的な内容では、誤りが増えます。

重要なのは、機械翻訳の精度は、受け取る音声認識のテキストの精度を超えられないということです。音声認識の入力が崩れていれば、自信たっぷりなのに間違った翻訳が出てきます。

第3段階：音声合成（TTS）

音声合成（Text-to-Speech）は、翻訳されたテキストを、翻訳先の言語の音声に戻します。フランス語のテキスト「Où est la pharmacie la plus proche?」は、スピーカーやイヤホンから聞こえる音声になります。

しくみ。最新の音声合成は、ニューラルボコーダーとスペクトログラム予測モデルを使って、自然に聞こえる音声を生成します。Google Research の Tacotron と WaveNet の系列は、音声の自然さの基準を打ち立てました。出力は、もはやロボットのような単調な声ではありません。もっともらしい抑揚、間、強調が含まれています。

苦手なこと。音声合成が苦手なのは次のようなものです。

• 翻訳文の中に含まれる外国の名前の発音
• 発音辞書にない珍しい単語や新語
• 元の話者の感情のトーンに合わせること
• 内容に対して不自然に感じられる話す速さ

音声合成の誤りは、音声認識や機械翻訳の誤りほど支障にならないのが普通です。発音が少しずれていても、聞き手は文脈から意味を推測できることが多いからです。

パイプライン全体の流れ

```

あなたの声 → [STT] → 英語のテキスト → [MT] → フランス語のテキスト → [TTS] → フランス語の音声 → 相手が聞く

```

（STT：音声認識、MT：機械翻訳、TTS：音声合成）

2026年のクラウドに接続したシステムでの遅延の合計は、一文あたりおよそ1〜3秒です。内訳は次のとおりです。

• 音声認識：300〜800ms
• 機械翻訳：100〜300ms
• 音声合成：300〜800ms
• ネットワークの往復：100〜500ms（接続によって異なる）

端末上で処理するパイプライン（Apple の端末上での翻訳など）はネットワークの遅延をなくせますが、対応言語が少ないのが一般的で、精度がやや低い小さなモデルを使っている場合もあります。

話し方にとってこれが重要な理由

パイプラインを知ると、話し方が変わります。

一文ずつ話す。音声認識が処理するのは発話の単位で、途切れのない独白ではありません。考えと考えの間に間を置けば、各段階にきれいな入力を渡せます。

マイクを守る。音声認識は最も弱い環です。周囲の騒音、マイクからの距離、口ごもりは、どれも機械翻訳と音声合成が受け取る入力の質を下げます。

固有名詞はテキストで確認する。音声認識が名前を聞き間違えると、機械翻訳と音声合成は自信たっぷりに間違った名前を伝えます。テキスト表示が、誤りを正すための確認ポイントです。

重要な情報は簡単な構造で伝える。「Room 412. Floor 4.」（412号室。4階）のほうが、「I believe we were assigned the room on the fourth floor, possibly 412 or 414.」（たしか4階の部屋を割り当てられたと思います。412か414だったかもしれません）より確実に翻訳されます。

音声を直接音声に変換するモデル：次のフロンティア

Google、Meta、そしていくつかの大学の研究者が、中間のテキストの段階を省くエンドツーエンドの音声翻訳モデルを開発しています。こうしたモデルは、ある言語の音声を別の言語の音声に直接対応づけます。

利点は、テキストを介すると失われてしまう、声のトーン、感情、速さといったパラ言語的な特徴を保てることです。課題はデータです。音声を直接音声に変換するモデルの学習には、複数の言語で対応づけられた音声が必要ですが、それはテキストのコーパスよりはるかに不足しています。

2026年時点でも、実際に提供されているリアルタイム翻訳ツールの多くは3段階のパイプラインを使っていますが、音声を直接変換するモデルもそれと並んで登場し始めています。ある製品がどちらの方式を使っているかは公開されていないことが多いので、どちらの主張も慎重に受け止めてください。

汎用の音声アシスタントも同じ変化の中にあります。ChatGPT の音声は今では聞くことと話すことを同時に行い、頼めば翻訳もします。2人で話す必要があるときにそれが何を意味するかは、ChatGPT は会話をリアルタイムで翻訳できるかで解説しています。

リアルタイムの会話ツールにとっての意味

ブラウザベースでも、ネイティブアプリでも、イヤホン型のハードウェアでも、リアルタイム翻訳の製品のほとんどは、何らかの形でこのパイプラインを動かしています。製品ごとの違いは主に次の点です。

• 各段階のモデルの品質（より良い学習データ、より大きなモデル）
• 対応言語の範囲（高品質に対応している組み合わせの数）
• 遅延の最適化（ストリーミングでの音声認識、機械翻訳と音声合成の並列処理）
• 導入の形態（クラウドか、端末上か）

翻訳ツールを評価するとき、あなたが評価しているのは一つの技術ではなく、連携して動く三つのモデルです。

実践的なまとめ

音声から音声への翻訳は魔法ではありません。よく理解されている三つの技術をつなげたものです。このパイプラインは、対応が充実した言語の組み合わせでの日常的な会話なら、驚くほどうまく機能します。弱点（固有名詞、騒音、慣用句）は予測でき、良い話し方の習慣とテキストでの確認で対処できます。

次に翻訳がおかしく聞こえたら、こう考えてみてください。聞き間違えたのか（STT）、訳し間違えたのか（MT）、結果の発音を間違えたのか（TTS）。その答えで、もっとはっきり話すべきか、言い換えるべきか、テキスト表示を確認すべきかがわかります。

出典

2026年10月2日に各提供元のページと照合しました。

• arXiv (Google Brain/Research) — Vaswani et al., Attention Is All You Need (2017)（英語）
• arXiv (Facebook AI / Meta) — Baevski et al., wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations (2020)（英語）
• arXiv (Meta AI) — NLLB Team, No Language Left Behind: Scaling Human-Centered Machine Translation (2022)（英語）
• arXiv (Google) — Shen et al., Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions (Tacotron 2, 2017)（英語）
• arXiv (Google) — Jia et al., Direct speech-to-speech translation with a sequence-to-sequence model (Translatotron, 2019)（英語）