《一种辅助聋哑儿童汉语发音的教师系统的研究》清华大学硕士答辩.pptVIP

BC8754E67F4EB1325B 四、 CALL系统设计和实现方法 4.5 方案可行性研究 为了检测本系统用于聋哑儿童语音教学的可行性，针对“b”作了两组对比实验：随机抽取听力正常者3男3女共6人， 实验一：受试者在无任何视听先验的情况下做发音测试； 实验二：借助系统提供的可视反馈做发音测试。 五、总结与展望 总结 1) 确定合适的声学特征。 2) 建立并优化HMM模型。 3) 提出“哼音声调学习法”。 4) 设计了合理的反馈方式。 展望 1) 针对发音人的口型作图像处理。 2）设计专家系统 3）针对聋哑儿童做更多地分析 学习听音----发音----理解语音 致 谢 衷心感谢导师叶大田教授对本人的精心指导，她的言传身教将使我终生受益。 感谢宫琴副教授,丁海艳老师对论文的严格监督和要求。 感谢田珍，陈世雄等实验室同学的帮助和支持。 感谢在实验中，参与录制语音的生医系内外的４０多位同学。 感谢阎志进舍友创造的和谐宿舍环境 学术论文 刘刚，叶大田. 针对汉语声母发音的辅助教师系统的研究. 北京生物医学工程（已录用） LIU Gang, TIAN Zhen, YE Datian. The design for fast learning system for Mandarin Tones (under revision) /site/gangliuresearch/publications * 一种辅助聋哑儿童汉语发音的教师系统的研究Research on Mandarin Computer Aided Language Learning System for Deaf Children 清华大学生物医学工程系 答辩学生：刘 刚 指导教师：叶大田 答辩时间： 2007-06-14 内容安排 课题背景 语音信号处理(DSP) 二 语音信号识别(ASR) 三 CALL系统设计和实现方法 四 总结与展望 五 一 一、课题背景 1.背景 听力语言障碍的残疾人 2057万 7岁以下聋儿 80万 一、课题背景 ２．听力障碍发生机理以及解决方法： 器械型康复治疗 代偿型康复治疗 更多方案? 计算机辅助语言学习 (Computer-Aided Language Learning) CALL A 说话 听觉器官 大 脑 发音器官 语音 其他器官 B C 一、课题背景 你是语言学家吗? 你是医生吗? 一、课题背景 聋儿 语音　　　　　　　　　　　 标准 语音　　　　　　　　　　　 本课题研究方法 DSP+ASR 二、语音信号处理(语音学知识) １）语音信号的产生 二、语音信号处理(语音学知识) 2）汉语语音的基本特性 汉字音节= [声母] +（韵母+声调） 声调 声调基频轨迹 二、语音信号处理(预处理) 3)预处理流程 预强调前波形 预强调后波形 三、语音信号识别(DTW) 1) DTW（Dynamic Time Warping） M T(i-1) R(j) R(j-1) T(i) N 三、语音信号识别(HMM) s2 t 0.7 s1 s3 0.8 0.7 i a 0.3 0.2 Frames s4 1.0 n 0.3 ２）HMM（Hidden Markov Model） tian2 四、 CALL系统设计和实现方法 系统结构框图 四、 CALL系统设计和实现方法 4.1 声母学习系统 4.1.1 语音原始数据的采集以及预处理 教师声母语音(DATA_I_D_TR, DATA_I_D_TE ) 同学声母语音(DATA_I_I_TR, DATA_I_I_TE ) 教师韵母语音(DATA_F_D_TR, DATA_F_D_TE ) 同学韵母语音(DATA_F_I_TR, DATA_F_I_TE ) 声调语音　　　DATA_Hum_Tone 音节语音　　　DATA_Syllable_Tone， 录制参数： 抽样频率fs为16kHz，量化比特数为16，以wav语音文件格式保存，保存类型为：Windows PCM。 四、 CALL系统设计和实现方法 4.1.2 模型的建立(Bottom-Top) CALL 四、 CALL系统设计和实现方法 CALL Syllable HMM State Frame 4.1.2 模型的建立(Bottom-Top) 四、 CALL系统设计和实现方法 4.1.3 模型的参数优化确定 特征参数的选取 声母HMM模型的状态数 输出概率分布函数的类型 训练轮数 四、 CALL系统设计和实现方法 特征参数选取 四、 CALL系统设计和实现方法 输出概率分布函数的类型