语音合成的状态：一项以愚弄人类率为案例的研究.pdfVIP

语音合成的状态：一项以愚弄人类率为案例的研究

PraveenSrinivasaVaradhan,SherryThomas,SaiTejaMS,SuvratBhooshan,MiteshM.

Khapra

AI4Bharat,IndianInstituteofTechnologyMadras,India

Gan.AI,India

cs21d201@cse.iitm.ac.in,miteshk@dsai.iitm.ac.in

Abstract可区分。

主观评估测试如CMOS[2]、MUSHRA[3]和

尽管近年来的主观评估表明TTS取得了快速进

MOS[4,5]长期以来一直有效指导TTS模型开发，

展，当前的TTS系统是否能在类似图灵测试的

并应继续这样做。这些指标为偏好和质量提供了

人类欺骗测试中真正过关？我们引入了人类愚弄

有价值的见解，帮助研究人员迭代模型。然而，随

率（HFR），这是一个直接衡量机器生成语音被误

着TTS系统越来越多地部署到实际应用中，需要

本认为人声频率的指标。对我们对开源和商用TTS一种额外的评估方法来直接测量合成语音是否真

模型的大规模评估揭示了一些关键见解：(i)基

译正无法与人类语音区分。这种以部署为中心的评

于CMOS的声称与人类相当的声明在欺骗测试中

中估应该更直接、更可解释，以克服现有测试[5,6,7]

经常失败，(ii)TTS进步应该以人类语音达到高

1的局限性，这些测试通常缺乏明确的实际应用含

vHFRs的数据集为基准进行评测，因为针对单调或

9不那么有表现力的参考样本进行评估设定的标准义。例如，考虑一个MUSHRA测试中系统得分为

786而参考得分为90，两者均被标记为“优秀”。这

1较低，(iii)商用模型在零样本设置下接近人类的

4意味着该系统已准备好部署吗？如果CMOS分数

0欺骗水平，而开源系统仍然难以处理自然对话语

.超过人类参考得分，这是否可以确定表明该系统

8音；(iv)在高质量数据上进行微调可以提高逼真

0度但并不能完全弥补差距。我们的发现强调了需通过了人类欺骗测试？我们的研究结果表明情况

5并非如此。

2要更现实的人类中心评测方法与现有的主观测试

:为了补充现有的评估方法，我们引入了人类

v并行。

i欺骗率（H