智能人机语音交互课件.pptx

智能人机语音交互 CONTENTS 目 录 1.人机语音交互框架 2.语音识别 3.语义理解 4.对话管理 5.语音合成 人机语音交互框架 语音端点检测 语义理解 对话管理 自然语言生成 语音合成 麦克风 扬声器 语音识别 集语音识别、语音合成、语义理解、对话管理的综合技术，打破传统命令式，实现交互式人机对话，让自然人与机器人实现像“人与人交互”的水平。 智能对话 语义理解 语音识别++ 语音合成 语音识别 核心 技术 将文字转成动听的声音；提供不限词表、不同性别、多语种、多风格的自然语音合成。 基于语音识别技术基础的特色语音交互，包括年龄识别、语音唤醒、声纹识别、性别识别、情绪识别等。 理解人的自然语言，明白主人的意图，进而完成操作，跟机器交流更自然更轻松了。 连续语音转成精准文字；对各种规模识别保持快速和精准，针对不同环境和人进行自适应调整。 CONTENTS 目 录 1.人机语音交互框架 2.语音识别 3.语义理解 4.对话管理 5.语音合成 语音识别 语音音频的信号处理 特征提取—P(A|S) 原始语音从时域通过信号处理方法转换成特征向量序列 特征提取是一个确定的过程：MFCC、LPC等 降低信息率，同时保留关键信息 抗噪性或去除与识别无关的信息 声学模型—P(S|L) 声学模型：概率模型，描述不同声音的各种不同特性 语音识别的关键技术之一 概率模型P(S|L)刻画不同的语音单元，如音节、字、词、声韵母等 HMM(隐马尔科夫模型)—有限状态传输机，将特征向量序列-状态序列(音素、字、词等) 语言模型—P(W) 语言模型：概率模型 引导搜索算法(在给定历史的情况下预测下一个词的出现) 消除声学单元之间的混淆性(如多音字), 特别是声学层相似的单元 Eg: 都是 VS 都市？ 语言模型将概率加到词序列串上去： 上下文自由语法 [今晚|大家| 都|很| 热情] 统计语言模gram 语言模型P(w1,w2,…,wn) n-gram统计语言模型广泛用于连续大词汇量语音识别系统 字典模型—P(L|W) 字典模型：作为声学模型与语言模型的纽带 建立词与声学单元的映射 在字典数据集里，可以是一个确定的模型 也可以是一个概率模型 词 拼音 概率 降 j i ang 0.45 x i ang 0.55 都 d u 0.40 d ou 0.60 解码与搜索 解码：结果回溯，搜索出来的最优路径上所携带的信息就是对应的语音识别结果。 解码算法 动态 vs 静态 深度优先 vs 广度优先 one pass vs multi pass 语音识别与深度学习 音频 特征提取 声学模型 语言模型 解码 结果 音频 特征提取 结果 音频 深度神经网络 深度神经网络 Fig.1.传统语音识别方法 Fig.2.端到端的语音识别方法 CONTENTS 目 录 1.人机语音交互框架 2.语音识别 3.语义理解 4.对话管理 5.语音合成 语义理解 语义理解技术就是人机智能语音交互的基础技术,也是关键技术 目前主流方法 基于规则的方法(lex规则, 数据库, 知识库) 基于统计方法(支持向量机SVM, 条件随机森林CRF) 基于深度神经网络的方法(RNN, 注意力机制) 语义理解 词法分析 分词 严守一把手机关了 可能的结果： 严守一/把/手机/关/了 严守/一把手/机关/了 词性的标注: 在不同上下文中有不同的词性 我/计划/考/研了 我/完成/了/计划 语义理解 句法分析 那只狼咬死了猎人的狗 咬死了猎人的狗失踪了 语义分析 机器翻译句子At last, a computer that understands you like your mother 计算机会像你的母亲那样很好的理解你(的语言) 计算机理解你喜欢你的母亲 计算机会像很好的理解你的母亲那样理解你 语义理解 语用分析 与语言的上下文有关, 尤其是当有代词的场景, 根据语言的具体场景进行分析; 音字转换 ji qi fan yi ji qi ying yong ji qi le ren men ji qi nong hou de xing qu (机器翻译及其应用激起了人们极其浓厚的兴趣) ji qi 有不同的词条对应 语义理解 语义理解的技术瓶颈 目前主要还是用基于规则的语义处理; 难点:上下文处理 还有分词、词性处理、句法分析等基础技术(新词, 网络用语, 方言俚语等的出现). 用机器学习或者神经网络做自然语言理解 CONTENTS 目 录 1.人机语音交互框架 2.语音识别 3.语义理解 4.对话管理 5.语音合成 对