发音质量自动评估算法地研究.pdfVIP

发音质量自动评估算法的研究 董滨 赵庆卫 颜永红 (中国科学院声学研究所 北京 100080) Stu勿onAlgorithmofAutomaticAssessmentofPronunciationQuality DongBin,ZhaoQingwei,YanYonghong (InstituteofAcoustics,ChineseAcademyofSciences,Beijing100080) 1.引言 随着信息技术的发展，计算机辅助学习软件已经从最初的只能进行阅读、听力、简单的 输入等功能，发展到计算机可以给学习者反馈有关学习成果的信息。信息的反馈对于学习者 十分重要。尤其是语言学习软件，学习者如果能够得到自己发音质量优劣的反馈将十分有利 于初学者对语言的掌握。所以，对自动发音评估的方法进行研究，显得尤为重要，而且这个 课题对语言学习来说具有很高的实际意义。 发音质量评估算法作为计算机辅助语言学习的重要组成部分，包括对学习者发音正确性 的评估和对学习者发音韵律的评估。图1是发音质量评估系统的框图。学习者的语音首先通 过语音识别系统，得到相应的发音正确性的得分;同时，通过语音韵律分析系统，得到相应 的发音韵律的得分，两部分得分的综合便是对学习者当前语句发音质量的评估。 图I发音质量评估系统框图 2.发音正确性评估算法 对发音质量进行评估，首先是对发音正确性的评估，发音的正确性是对任何一门语言掌握 的基础。 我们使用的基于隐马尔可夫模型 (HMIM)的自动语音识别系统 (ASR)，是与文本和说话人 无关的识别系统。如果假设识别系统的声学模型能够代表最正确的发音，从而作为参考发音， 那么学习者的发音通过识别系统的识别，在系统解码过程中所得到的最佳搜索路径中每个音 素的后验概率就可以表示它与参考发音的接近程度，即发音的正确程度。 发音的持续时间也是一个重要的参数，语速的快慢并不能代表发音质量的高低。我们所采 用的语音识别算法，不仅可以得到输入语音的语句发音持续时间，还可以得到每个音素和每 个词的发音持续时间。结合输入语音的每个音素的持续时间和最佳搜索路径中的相应音素的 后验概率，可以对学习者发音的正确性进行评估。发音持续时间在其中的作用是对音素的后 验概率进行规一化，以在一定程度上消除语速快慢对评估结果的影响。采用后验概率结合发 音持续时间进行打分的方法如下式所示: GGPOOPq((、);=卜d1.r,言ilogPq(;，、， (1) 其中 P(qj[Yt)=P(Yr}qr)p(q,) (2) I，(:1、，)，(、，) 试是音素q;的发音持续时间。Yt是当前时刻的观测值。M是系统所使用的模型中音素的 个数 ·t,是音素qr出现的起始时间。 同时，我们可以根据每个词中的音素的个数和每个句子中的词的个数，以对音素的评估为 基础，在词和句子的级别上对学习者的发音进行评估。 3.发音韵律评估算法 语言学习者在学习自己母语以外的第二种语言时，首先是要学习字和词的发音，然后才能 是句子的发音。因为对句子的发音，不仅要对组成句子的每个词和字发音正确，还要掌握句 子的韵律特征。仅仅掌握字和词的发音，对于学习一种语言来说，是远远不够的。 对学习者的发音进行评估，韵律评估是不可缺少的，特别是对于中高级的学习者。语言的 韵律特征包括音调、重读、音长等。在我们的语音韵律分析系统中，使用基音频率和能量作 为特征，对学习者的发音韵律进行评估。 3.，语音的基音频率 语音的基音频率是反应语音韵律的重要特征。而学习语言的初学者特别是非母语国家的 学习者，在学习阶段一般只重视每个词的发音正确程度和发音方法，而往往忽视了对整个句 子发音韵律的掌握，以至于在发音韵律上把握不准。我们把语音的基音频率作为对发音质量 进行评估的重要特征之一。采用基频的平均变化率作为评估时使用的特征参数。基频的平均 变化率即各帧语音信号基频差分的绝对值的平均值，定义如下: 。