TTS 评测指标与基准：全面指南

引言

随着 语音合成（Text-to-Speech, TTS） 技术的迅猛发展，对合成语音质量的评测变得愈发重要，也愈发复杂。现代 TTS 系统能够生成几乎与真人录音无法区分的语音，但在自然度、韵律和说话人一致性等方面的细微差异仍然难以精确衡量。缺乏严谨的评测体系，就难以客观对比不同系统、追踪改进效果或发现潜在短板。本文将全面介绍 TTS 评测领域，从传统的主观听测到现代客观指标与基准评测套件。

主观评测：MOS 及其演进

平均意见分（Mean Opinion Score, MOS） 长期以来是 TTS 评测的黄金标准。评测者以 1–5 分对语音样本的自然度和整体质量进行打分。MOS 直观易懂，但也存在显著局限：

• 标量 MOS 要求评测者给出单一分数，但不同听众对评分标准的理解各异，导致跨评测者和跨测试轮次的结果方差较大。
• ABX 偏好测试 呈现两个样本 A、B 和一个参考样本 X，要求评测者判断哪个更接近参考音。这种二选一的强制选择设计减少了主观性，但无法衡量绝对质量。
• MUSHRA（带隐藏参考与锚点的多刺激测试） 同时呈现多个样本以及一个已知参考和一个低质量锚点，能够产出更具区分度和可重复性的结果。
• 比较 MOS（CMOS） 要求评测者在分级量表（如“好很多”到“差很多”）上比较两个样本的优劣，非常适合 A/B 回归测试。

要点： MOS 仍是最广泛使用的主观指标，但 ABX 和 MUSHRA 在特定对比任务中可靠性更高。建议使用 15 人以上的评测群组，并配合统计显著性检验。

客观指标

客观指标支持大规模自动化评测，无需人工听测。自监督语音表征模型的最新进展显著提升了客观指标与人类感知的相关性：

• 词错误率（WER） 和 字符错误率（CER） 通过将合成语音的 ASR 转写结果与原始文本比对，衡量可懂度。低 WER/CER 是高质量的必要但非充分条件。
• 说话人相似度 指标（如使用 ECAPA-TDNN 或 ResNet 说话人嵌入的余弦相似度）量化合成语音与目标说话人的音色匹配程度。
• 韵律指标 评估音高、时长和能量曲线。韵律失配度量工具将模型预测的韵律与实际声学特征进行对比。
• MOS 预测模型——如 UTMOS、DNSMOS 和基于 SpeechLM 的打分器——在人类评分数据上训练，能够提供合理的质量估计而无需组织听测小组。

要点： 客观指标应补充而非替代主观评测。WER 捕捉可懂度，说话人相似度捕捉音色一致性，MOS 预测器提供可扩展的质量代理。

主流 TTS 基准

业内已涌现出若干标准化基准，支持公平且可复现的 TTS 对比：

• LJSpeech（单说话人英文语料）仍是 TTS 学术基线最常用的参考数据集，通常配合 MOS 和 WER 进行评估。
• LibriTTS 和 VCTK 广泛用于多说话人 TTS 评测，额外增加说话人相似度指标。
• Blizzard Challenge 和 语音转换挑战赛（VCC） 是年度竞赛，提供标准化的听测框架、参考数据集以及参赛团队间的同台对比。
• TTS Arena（Hugging Face / Mozilla 社区驱动）是一个社区化排行榜，用户以锦标赛形式对合成样本进行投票，提供众包质量排名。
• SLURP 和 Fleurs 将评测扩展到零样本和跨语言 TTS，检验系统对未见说话人和语言的处理能力。

要点： 选择与你的用例匹配的基准：单说话人质量（LJSpeech）、多说话人一致性（LibriTTS）或跨语言泛化能力（Fleurs）。

评测中的常见误区

即使是精心设计的评测也可能产生误导性结果。以下是需要避免的常见错误：

• 使用训练数据参与评测会导致质量虚高。务必使用独立的测试说话人和文本样本。
• 过度依赖 MOS而不报告置信区间或显著性检验。0.1 分的 MOS 差异通常无实际意义，多为测量噪声。
• 忽略长文本合成的韵律表现。 许多评测仅使用短句，无法发现段落级语音中出现的换气控制、重音和节奏问题。
• 基准数据污染——模型在评测基准的数据上进行了无意识训练。使用网络抓取或大规模数据集时尤其容易出现问题。
• ASR 导致的 WER 偏差——计算 WER 所用的 ASR 模型若与 TTS 训练管线中使用的是同一模型，就会形成循环依赖，导致分数虚高。

要点： 隔离测试数据、报告置信区间、使用多样化的代表性样本进行测试，并警惕 TTS 训练与评测工具之间的循环依赖。

如何选择合适的评测策略

评测方案应与具体的部署场景相匹配：

• 研究与模型开发： 结合 MUSHRA 和客观指标（WER + 说话人相似度 + MOS 预测器）快速迭代，仅在最终模型检查点进行全面 MOS 测试。
• 语音克隆 / 个性化定制： 优先使用 说话人相似度 指标和 ABX 偏好测试。声音自然但不像目标说话人即为失败。
• 多语言 TTS： 按语种分别使用 母语评测者 和跨语言基准（如 Fleurs）进行评估。WER 应使用对应语言的 ASR 模型独立测量。
• 生产环境监控： 部署基于 UTMOS 或 DNSMOS 的自动化管线持续监控合成质量，辅以人工抽样抽查。
• 无障碍与辅助技术： 优先关注 可懂度（WER） 和听力理解速度而非自然度，并在真实聆听环境中与目标用户一起进行评测。

要点： 不存在通用的评测方案。请根据具体应用场景选择最适合的指标、基准和测试方案，并定期使用人工评测验证自动化指标的可靠性。