语音到语音翻译的原理：STT → MT → TTS 通俗讲解

对着翻译应用说话时，发生了什么

你按下按钮，用英语说一句话，一秒后就听到了法语。感觉像变魔术。幕后其实是三项不同的技术依次运行，各有各的长处、短板和出错方式。

理解这条流水线（STT、MT、TTS），就能明白为什么翻译有时能漂亮地翻出一个复杂的句子，有时却会把一个简单的名字弄乱。它还告诉你怎样说话效果更好。

第一阶段：语音转文字（STT）

语音转文字，也叫自动语音识别（ASR），把你说出的音频转换成同一种语言的文字。

当你对着手机说“Where is the nearest pharmacy?”（最近的药店在哪里？）时，STT 引擎输出的是这串文字：`Where is the nearest pharmacy?`

工作原理。 现代 STT 系统使用神经网络模型，用数千小时的标注语音训练而成。Google Research 发表过大量关于端到端语音识别模型的研究，这类模型把音频波形直接映射为文字，不需要中间的音素表示。Meta 的 wav2vec 和自监督学习研究，则推动这一领域转向能从未标注音频中学习的模型，改善了低资源语言的识别效果。

哪里会出错。 STT 在以下情况下表现吃力：

• 训练数据里没有的专有名词（人名、街道、品牌）
• 训练中代表性不足的浓重口音或方言
• 与语音相互干扰的背景噪音
• 说得太快或含糊不清
• 一句话中途在不同语言之间切换

这一阶段的每个错误都会传递到下游。如果 STT 把“pharmacy”听成了“farmacy”，翻译阶段拿到的就是错误的输入。

第二阶段：机器翻译（MT）

机器翻译把文字从一种语言转换成另一种语言。STT 输出的 `Where is the nearest pharmacy?` 变成 `Où est la pharmacie la plus proche?`

工作原理。 神经机器翻译（NMT）模型用两种语言的平行文本语料训练，学会在语言之间映射意义。Google Research 提出的 Transformer 架构彻底改变了这一领域。Meta 的 NLLB（No Language Left Behind）项目，把高质量翻译扩展到了数百种此前缺乏足够机器翻译支持的语言。

哪里会出错。 MT 在以下情况下表现吃力：

• 无法逐字翻译的习语和文化表达
• 要靠上下文才能确定含义的歧义词
• 很长或句法很复杂的句子
• 训练数据有限的语言组合

对于英语—法语或英语—西班牙语这类支持良好的语言组合，简单句子的 MT 准确度很高。遇到习惯用语或专业内容，错误就会增多。

重要的是，MT 的准确度不可能超过它收到的 STT 文字。一段混乱的 STT 输入，会产出一个自信却错误的翻译。

第三阶段：文字转语音（TTS）

文字转语音把翻译后的文字重新转成目标语言的音频。法语文字 `Où est la pharmacie la plus proche?` 变成你从扬声器或耳机里听到的声音。

工作原理。 现代 TTS 使用神经声码器和频谱预测模型，生成听起来自然的语音。Google Research 的 Tacotron 和 WaveNet 系列树立了语音自然度的标杆。输出不再是机械的单调腔，而是带有合理的语调、停顿和重音。

哪里会出错。 TTS 在以下情况下表现吃力：

• 读出译文中夹带的外国人名
• 发音词典里没有的生僻词或新造词
• 还原原说话者的情绪语气
• 语速听起来与内容不相称

TTS 的错误通常比 STT 或 MT 的错误影响小，因为即便发音略有偏差，听的人往往也能从上下文推断出意思。

完整的流水线

```

你的声音 → [STT] → 英语文字 → [MT] → 法语文字 → [TTS] → 法语音频 → 对方听到

```

2026 年，云端系统每句话的总延迟大约是一到三秒。具体构成：

• STT：300–800毫秒
• MT：100–300毫秒
• TTS：300–800毫秒
• 网络往返：100–500毫秒（因网络状况而异）

设备端流水线（如 Apple 的设备端翻译）省去了网络延迟，但通常支持的语言更少，使用的模型也可能更小，准确度略低。

这对你的说话方式意味着什么

了解流水线，会改变你的做法：

一次说一句。 STT 处理的是一句句话，而不是连续的独白。在想法之间停顿，能让每个阶段都拿到干净的输入。

保护好麦克风。 STT 是最薄弱的一环。背景噪音、离麦克风太远和含糊不清，都会降低 MT 和 TTS 收到的输入质量。

在文字中核对专有名词。 如果 STT 听错了一个名字，MT 和 TTS 会自信地把错误的名字送到对方耳中。文字显示就是你纠错的关口。

关键信息用简单句式。 “412 房间，4 楼。”比“我想我们被分到的是四楼的房间，可能是 412 或者 414。”翻译得更可靠。

直接的语音到语音模型：下一个前沿

Google、Meta 和几所大学的研究人员正在开发端到端的语音到语音模型，跳过中间的文字阶段。这些模型把一种语言的音频直接映射成另一种语言的音频。

它的优势在于保留文字中介会丢失的副语言特征（语气、情绪、语速）。难点在于数据：训练直接的语音到语音模型，需要多种语言对齐的音频，比文本语料稀缺得多。

2026 年，许多投入生产的实时翻译工具仍然使用三阶段流水线，直接的语音模型则开始与之并行出现。某个产品具体用哪种方案，往往没有公开，所以对任何一方的说法都要谨慎对待。

这对实时对话工具意味着什么

大多数实时翻译产品，不管是基于浏览器的、原生应用的，还是硬件耳机，运行的都是这条流水线的某个版本。产品之间的差别主要在于：

• 每个阶段的模型质量（更好的训练数据、更大的模型）
• 语言覆盖（有多少语言组合能达到高质量）
• 延迟优化（流式 STT、MT/TTS 并行处理）
• 部署方式（云端还是设备端）

评估翻译工具时，你评估的是三个协同工作的模型，而不是单一技术。

实用的结论

语音到语音翻译并不神秘。它是三项成熟的技术串在一起。对于支持良好的语言组合，这条流水线在日常对话中表现相当出色。它的弱点（专有名词、噪音、习语）是可预见的，靠良好的说话习惯和文字核对就能控制。

下次听到翻译不对劲时，不妨问一句：是没听清我说的（STT），译错了（MT），还是读错了结果（TTS）？答案会告诉你，该说得更清楚、换个说法，还是去看文字显示。

来源

2026 年 10 月 2 日已对照各发布方自己的页面核实。

• arXiv (Google Brain/Research) — Vaswani et al., Attention Is All You Need (2017)（英文）
• arXiv (Facebook AI / Meta) — Baevski et al., wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations (2020)（英文）
• arXiv (Meta AI) — NLLB Team, No Language Left Behind: Scaling Human-Centered Machine Translation (2022)（英文）
• arXiv (Google) — Shen et al., Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions (Tacotron 2, 2017)（英文）
• arXiv (Google) — Jia et al., Direct speech-to-speech translation with a sequence-to-sequence model (Translatotron, 2019)（英文）