第10章 自然语言理解（导论5）.pptVIP

* 矢量量化（vector quantization，VQ）技术是七十年代后期发展起来的一种数据压缩和编码技术。 在标量量化中整个动态范围被分成若干个小区间，每个小区间有一个代表值，对于一个输入的标题信号，量化时落入小区间的值就用这个代表值代替。 矢量量化的基本原理：将若干个标量数据组成一个矢量在多维空间给予整体量化，从而可以在信息量损失较小的情况下压缩数据量。 10.4.2 语音识别的主要过程 4.向量量化 * 5.识别 识别系统的输入是从语音信号中提出的特征参数。 （1）语音识别模板匹配法 在训练阶段，用户将词汇表中的每一个词依次说一遍，将其特征矢量作为模板存入模板库。在识别阶段，将输入语音的特征矢量序列依次与模板库中的每个模板进行相似度比较，将相似度最高者作为识别结果输出。 10.4.2 语音识别的主要过程 * （2）语音识别随机模型法 如隐马尔可夫模型(HMM)。用HMM的概率参数对似然函数进行估计与判决，从而得到识别结果。 （3）语音识别概率语法分析法 不同的人说同一些语音时，相应的语谱总有一些共同的特点以区分于其他语音。将区别性特征与来自构词、句法、语义等语用约束相互结合，构成由底向上或自顶向下的交互作用知识系统。 10.4.2 语音识别的主要过程 * 10.4.3 隐马尔可夫模型 隐马尔可夫模型： 表示序列可能出现的一种方法。 y跟在ph后面出现的概率跟在t后面出现的概率 例 序列：1 2 3 3 4。则概率0.9×0.5×0.4×0.6=0.108 * ●状态隐含，观察可测 10.4.4 基于隐马尔可夫模型的语音识别方法 （1）观察符号是一帧帧的语音参数 （2）状态序列是具体的语音内容 LPC或MFCC 前进，后退 例： * ●解决三个基本问题： （1）输出概率计算问题：给定观察序列 和HMM模型，计算输出概率 。 （2）状态序列解码问题：给定观察序列 和HMM模型，确定最优的转移序列。 （3）模型参数估计问题：调整模型 的参数，以使 最大。 10.4.4 基于隐马尔可夫模型的语音识别方法 * 输入语音 比较结果 语音分析 矢量量化 语音模型 比较判断 HMM训练 概率计算 特征提取 10.4.4 基于隐马尔可夫模型的语音识别方法 基于HMM的孤立字(词)识别 * * 10.5 语音识别进展 深度学习使自然语言处理进入崭新的发展阶段： ●现在神经机器翻译已经取代了统计机器翻译，成为机器翻译的主流技术。 ●目前统计数据表明：神经机器翻译的性能远远超过了统计机器翻译，而且跟人的标准答案非常接近，甚至说是相仿的水平。 * * 10.5 语音识别进展 深度学习使自然语言处理进入崭新的发展阶段： ●不需要人工进行特征抽取，只要准备好足够的标注数据，比如机器翻译的双语对照语料。 ●可以在大规模语料上进行训练得到一个在多维语义空间上的表达，因此词汇之间、短语之间、句子之间乃至篇章之间的语义距离可以计算。 ●基于神经网络训练的语言模型，可以更加精准地预测下一个词的出现概率，以及一个句子的概率。 * * 10.5 语音识别进展 深度学习使自然语言处理进入崭新的发展阶段： ●循环神经网络（RNN、LSTM、 GRU）可以对一个不定长的句子进行编码，描述句子的信息。 ●编码-解码（encoder-decoder）技术可以实现一个句子到另外一个句子的变换。这个技术是神经机器翻译、对话生成、问答、转述的核心技术。 ●强化学习使自然语言系统可以通过用户或者环境的反馈，调整神经网络参数，改进系统性能。 * * 10.5 语音识别进展 ● 2012年11月，微软在天津演示自动同声传译系统。 ● 2015年深度学习在计算机视觉、语音识别、自然语言理解上取得突破。 ●谷歌2016年推出商业级神经系统机器翻译，准确率达86%。 ● Facebook使用卷积神经网络CNN翻译速度比谷歌快9倍。 * THE END Introduction of Artificial Intelligence Introduction of Artificial Intelligence 第 10 章 自然语言处理及其应用 教材： 王万良《人工智能导论》（第5版） 高等教育出版社，2020 * 第10章 自然语言处理及其应用 如果计算机能够理解、处理自然语言，这将是计算机技术的一项重大突破。自然语言理解的研究在应用和理论两个方面都具有重大的意义。 本章首先自然语言理解的概