基于移动智能终端的听障儿童言语康复训练系统精选.docx

2017年“挑战杯”吉林省大学生课外学术科技作品竞赛长春大学作品基于移动智能终端的听障儿童言语康复训练系统说明书团队成员：指导教师：参赛单位：电子信息工程学院、计算机科学技术学院吉林省残疾人康复设备及技术科技创新中心摘 要I第1章 研究背景及意义11.1 研究背景11.2 国内外研究现状21.3 研究意义6第2章 作品介绍72.1 作品简介72.2 作品设计72.3 作品使用说明82.4 作品性能优化10第3章 系统设计及工作原理133.1 系统流程133.2 工作原理143.2.1三维模型驱动143.2.2发音训练模块183.2.3反馈系统21第4章 主要创新点234.1 相对于传统方式的优势234.2 技术的创新点244.3 项目未来优化发展25第5章 市场分析26团队简介28参考文献29附 件31附件目录31附件图片32摘 要听障儿童由于听力障碍造成言语的缺失，严重影响其认知能力、思维能力的发展，最终将影响其情感和智力的发育。听障儿童的发音器官是正常的，只要对其进行听力补偿并进行及时科学的言语康复，就能让他们走出无声世界，进入有声世界，和正常儿童一样认识事物，发展智力，为以后入学、工作打下基础。当前听障儿童言语康复训练主要采用言语康复训练教师一对一的对听障儿童示范发音过程，听障儿童进行模仿的训练方式。这种训练方式存在主要问题是听障儿童数量多，而言语康复训练教师少，导致部分听障儿童错过最佳言语康复期。随着计算机技术的发展，出现了一些听障儿童言语康复的辅助软件和设备，但由于这些软件和设备还需要大量的专业人员参与而没有得到广泛的有效应用。为了解决上述传统言语康复训练存在的问题，本作品将面部捕捉技术与三维可视化技术引入听障儿童言语康复训练领域，将面部捕捉技术与三维可视化相结合，建立真实的三维头像模型，并模拟发音器官做出发音动作，为听障儿童展示真实的发音过程，提高听障儿童言语康复训练效果。尤其在手机等移动设备较为普及的今天，本作品将该技术应用于移动智能终端系统中，建立基于移动终端的听障儿童言语康复训练系统。此系统将在移动智能终端系统实现三维虚拟会话头像模拟汉语发音过程，听障儿童应用本系统可以随时随地的自主进行言语康复训练，解决了听障儿童语言康复训练过程中语训教师不足，不能得到及时的康复训练等问题。关键词：言语康复训练，面部捕捉，三维可视化，移动智能终端第1章 研究背景及意义1.1研究背景听力障碍是人类残疾类型中的一种，早在《左传》中就有“耳不听无声之和为聋”的说法。中国是世界上听力障碍（简称“听障”）儿童数量最多的国家之一，听障儿童是指由于疾病、药物、噪声、意外事故等影响，造成听觉系统中传音、感音，以及对声音综合分析的各级神经中枢发生异常，引发听力障碍，听不见或听不清周围声音的儿童[1]。2017年5月21日是我国第二十七次全国助残日。据中国残联介绍，我国目前有8500万残疾人（如图1-1所示），每年新增近200万人，有40%的残疾人有康复需求。其中听力残疾2780万人，约占24.16%；言语残疾130万人，约占1.53%，其中听力障碍儿童83.5万，6岁以下听障儿童13.7万，每年新生听障儿童约2.3万（如图1-2所示）。图1-1 我国残疾人总数图1-2 我国听障人群现状医学专家指出0～3岁是儿童大脑发育最快的时期，也是学习语言的最关键时期，7岁以前是语言最佳形成期，7～12岁是可塑期[2]。如果错过最佳言语康复训练期，声音信号没有在脑部形成刺激，则严重影响儿童后期的言语发育，且听障儿童在语言发育滞后的同时，还常伴有运动、认知等方面的异常或障碍。在重度和极重度听障儿童中，高达25%的儿童有多重残疾。我国第二次全国残疾人抽样调查显示，在0-6岁听障儿童中，有72%同时伴有其他残疾，直接影响了儿童认知能力、思维能力和记忆能力的发展，这给他们在获取知识上造成一定难度，势必会影响其情感和智力的正常发育。虽然听障儿童听不见或听不清声音，但是他们的发音器官是正常的。听障儿童说出的话一般较难听懂，这主要是因为他们发音方式和发音位置不正确。在听力障碍儿童群体中有残余听力的约占85%以上，只要听力能得到及时的补偿和重建，同时进行科学的言语康复训练，大部分听障儿童是可以掌握有声语言的[3]。据调查，我国听力语言康复事业仍处于发展的初级阶段，听力语言康复服务普及率低，基础薄弱，服务供给及保障能力不足等问题依然十分突出。据全国聋儿康复机构的调查显示，全国有54%的地市级残联没有自己的聋儿康复机构，有59个地市没有一所聋儿康复机构。从全国范围看，残联所属聋儿康复机构只占全国机构总数的30%。国内适龄听障儿童能够有机会进入康复机构进行言语康复训练的仅占听障儿童群体总数的60%，要实现0～6岁听障儿童言语训练健康全覆盖，还有一定距离。本研究主要借助技术手段，