基于DIVA模型的汉语语音脑机接口系统的研究-软件工程专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 DIVA(Direction Into Velocities of Articulators)模型是一种描述人脑中涉及语音生成和语音 理解区域相关作用的数学模型。该模型主要特征是反映神经解剖学与大脑相关区域的关联性， 并模拟人脑如何控制发音器官的运动，从而进行音素、单词以及句子发音的仿真。目前为止， DIVA 模型是唯一使用伪逆控制方案并具有生物学意义的神经网络模型，因此，DIVA 模型对 设计出能够通过获取人脑发出的信号从而代替人类发音的语音脑机接口系统具有指导意义。 本文的主要工作是:1.在对 DIVA 模型的结构和定义进行研究的基础上，设计与中文发音相关 的功能磁共振成像（functional agnetic resonance imaging,fMRI）实验；2.依据实验结论，对中 文语音发音过程对 DIVA 模型大脑感兴趣区域所产生的影响进行研究，并做出相应修改；3. 采用无创型脑电信号(Electroencephalograph,EEG)采集方案提取这些大脑区域产生的脑电信 号。在主要工作的第三部分，因所采用的无创型采集方案所获取的脑电信号具有较多的眼电 和 肌 动 等 干 扰 ， 所 以 我 们 采 用 独 立 分 量 分 析 方 式 (Independent Component Correlation Algorithm,ICA)来去除脑电信号中的干扰信号，之后再使用小波包分解和共空间模式(Common Spatial Patterns,CSP)分别对脑电信号进行特征提取，最后应用支持向量机模型(Support Vector Machine,SVM)分类器对特征提取结果进行分类。应用这样的方法，我们设计出了一个专门针 对汉语语音发音的脑机接口系统。 最后实验结果表明，使用本文方式设计的汉语语音脑机接口（Brain-Computer Interface， BCI）系统具有良好的性能，支持向量机模型对汉语发音脑电信号的分类精度最高为 75%， 达到了国外研究者使用侵入式脑电采集方案设计的英语语音脑机接口的分类精度。本文的研 究为中文语音神经分析系统的设计提供了可行方案。此外，本文的实验的结论也印证了 DIVA 模型对于发音过程大脑相关区域关联性的预测。因此，本文为汉语语音脑机接口系统和汉语 语音生成与获取的研究奠定了良好的基础。 关键字:DIVA 模型，脑机接口，小波包分解，功能磁共振成像，共空间模式，支持向量机 模型 I Abstract DIVA model is a kind of mathematical model which describes the role played in human brain refer to speech production and speech understanding area. The model can simulate the movement of how human brain to control speech organ, so as to simulate the pronunciation of phoneme, word and sentence of human. So far, DIVA model is the neural network model which only uses pseudo-inverse control scheme and it also has biological significance. Therefore, DIVA model has guiding significance