语音技术及运用概述_基础课程-智能语音技术及产业应用前沿介绍.pptxVIP

智能语音技术及产业应用前沿介绍内 容 提 要一、语音的概念及内含二、智能语音核心技术及产业最新进展三、移动互联网时代语音技术展望什么是语音? 语音：– 人类发音器官发出的声音– 是声音的一种– 包括说话、歌唱等形式? 语音产生于约二十万年前? 但人类能听到的历史不过128年，（1877年：爱迪生发明留声机）? 计算机、声卡=语音的计算机处理技术语音链语音产生机理元音发音器官形状汉语辅音音素发音方式（口型及送气等）决定了我们所发的音语音进入计算机：波形和语谱图元音a 辅音ch语谱图：能量在不同频率上）茶e共振峰：能量聚集的频带， 取决于口形语音信号中的一些基本概念波形语谱基频语音的特性1：共振峰基本决定内容计算机语音识别系统就是在抓取共振峰，可是近视眼语音的特性2：基频的变化决定声调但唱歌的时候，用基频来表现音高，此时忽略声调约束语音的特性3：声音一样又不同声门已不同，更不用说口型，可以说每个人的声音都是不同的 = 声纹人类听觉系统语音的丰富内涵 语音合成声纹识别相似度评测多语种合成方言合成语种识别方言识别 ......Singing TTS哼唱检索唱歌评分 情感合成 情感识别 说话人 文本语音识别语音合成语音评测内 容 提 要一、语音的概念及内含二、智能语音核心技术及产业最新进展三、移动互联网时代语音技术展望智能语音技术概述智能语音技术：使信息时代的各种信息机器像人一样“能听会说”的技术，包括语音合成、语音识别和语音评测等可以将任意的文字信息转化为自然流畅的语音,相当于给机器装上了人工嘴巴可以将语音中内容、说话人、语种等信息识别出来，相当于给机器装上了人工耳朵可以进行发音标准评价和错误反馈指导，相当于把机器变成语音评测老师语音技术具有广阔产业化前景和重大战略意义语音合成系统流程图语音合成系统主要包括语言处理、韵律处理和单元合成等技术模块： 语音合成技术 ? 功能定义： – 将输入的文字变成连续的语音输出，即Text To Speech的过程,简称 TTS技术 ? 主要难度： – 首先，计算机要有大脑，要“懂”输入的文字????兔子尾巴长不了排量为1.8L这里着起了火了嘉峪关关长曾建国接受了访问– 其次，计算机要有嘴巴，可以发出声音，两种嘴巴的实 现方式 ? 基于波形拼接的方法 ? 基于参数合成的方法基于波形拼接的方法? 基本思路：录音＋拼接，简单！? 如：希望合成“科大讯飞”，取以下录音片段– 科学技术是第一大的生产力– 大家都不要讨论别人的是非– 聆听世界的讯息? 主要问题– 设计覆盖全面的录音文本– 保持录音的平稳性，比一般电台播音员要求更高– 分析合理的可替换上下文环境及替换代价基于参数合成的方法? 基本思路：参数预测＋语音生成（合成器），算是在模拟嘴巴！? 如：希望合成“科大讯飞”，计算机首先学习得到每个声韵母的合成参数，然后送入合成器合成? 主要问题– 参数预测要合理、各参数之间要协调– 合成器合成的音质问题“中国”语音库语流环境标注基频模型频谱模型… …时长模型基频特征频谱特征… …时长特征技术创新点：基于声学统计模型的听感量化单元拼接语音合成新方法基频模型集合频谱模型集合… …时长模型集合最小单元挑选错误准则指导下的声学模型训练文本分析听感量化备选单元提取语流环境描述信息“zh” “ong1” “g” “uo2” zh+ong1zh-ong1+gong1-g+uo2g-uo2模型选择特征提取基于Kullback-Leibler距离与似然值函数的单元挑选算法STOP中文合成语音自然度由3.6分提升至4.1分（2009年“智能语音交互关键技术及应用平台”项目鉴定意见）实现全概率准则指导下听感量化单元拼接语音合成新方法，合成语音自然度率先突破4.0分这一代表普通人朗读自然度水平的技术门槛技术创新点：语种无关的语音合成系统构建方法基于IPA国际音标和ToBI韵律标注规范，设计统一的跨语种语音音段与韵律描述体系音段与韵律标注的多样性关键技术问题语音生成方法的语种依赖性采用可训练的参数语音合成技术实现了语音生成阶段的语种无关性多语种语音资源的稀疏性提出结合高层描述信息的模型自适应方法合成语音自然度的普适性提出最小生成误差声学模型训练准则和基于线谱频率及其阶间差分的语音增强方法国内率先完成了包含粤语等方言，维吾尔语、藏语等少数民族语言和英语、法语、俄语、日语、韩语等外语种的多语种语音合成系统语音合成技术进展语音合成系统最关键的是自然度综合指标： 年份1995年1998年1999年2001年2011年自然度3.03.03.53.84.5STOP 原文：9，这是乔丹参加1984年奥运会和1992年奥运会时的球衣号码。在1984年洛杉矶奥运会上，由于前苏联以及东欧诸国……科大讯飞荣获Blizzard Challenge 2006-1