支持向量机在语音识别中的应用的研究.pdfVIP

支持向量机在语音识别中的应用研究 谢湘匡镜明 北京JEs-大学电子工程系 北京 100081 本而提出的学习机器。本文研究了SVM应用于语音识别的方法，构建了基于SVM的非特 定人汉语数字语音识别系统，系统平均识别率达到99．33％，优于基于传统隐马尔可夫(Hidden Markov Model)构建的基线系统性能(97．08％)，特别在小样本学习环境下更具优势。论文 通过实验分析得到了系列结论，说明了SVM在语音识别领域有着很强的应用潜力，并提出 了进一步的改进方向。 关键词：模式识别语音识别 支持向量机机器学习 1 引言 语音识别技术近年来得到了相当广泛的应用，尽管在通信领域距离构建理想化的极低比 特率(50bit／s)通信系统的设想仍有相当差距，但语音识别已经在呼叫中心、信息查询、航班 订票等业务中得到了实际应用。然而，语音识别技术在近三十年中，仍处于以隐马尔可夫模 型( (参数)统计估计方法中，参 数的相关形式假设是已知的，正如在语音识别中隐马尔可夫模型(HMM)中往往假设“态” (state)的特征矢量服从高斯密度分布，训练样本用来估计参数的值。这种方法的局限性在于 它需要知道样本的参数化分布形式，过多地依赖了先验知识，这在现实中是很难做到的。另 外，传统统计学研究的是样本数目趋于无穷大时的渐近理论，但在实际问题中，样本数往往 是有限的。而经验非线性方法≯如人工种经翻络《糊)。这种方法利用已知样本建立非线性 模型，克服了传统参数估计方法的困难，在许多应用领域表现出优越的性能。但是，由于这 种方法缺乏坚实的数学理论。而更多地采用了结合经验的启发式学习过程。当面对日趋复杂 的学习问题，神经网络并不是有着良好控制的学习机器，如出现陷入局部优化点、过学习等 现象。 Theory)提出了薪的机器学习思想，近年来基于这一理论产生的“支持向量机” Learning 模式识别、回归估计等问题上体现出许多独特的优点，它尤其适用于学习样本较少的情况…。 目前，SVM算法在模式识别、回归估计、概率密度函数估计等方面都有应用。例如，在模式 识别方面，对于手写数字识别、人脸图像识别、文章分类8J【”等问题，SVM算法在性能上已 经超过传统的学习算法或与之不相上下。本文尝试将SVM应用于语音识别问题，并选择了非 特定人汉语数字识别作为识别任务。本文第2节介绍了SVM的原理，给出了常用的SVM核 ·466· 函数；第3节建立了基于SVM构建的语音识别系统：第4节设计了实验并对实验结果作出分 析得到结论；第5节展望了进一步的工作。 2支持向量机原理 统计学习理论是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统 计问题建立了一套新的理论体系，有着较坚实的理论基础，为解决有限样本学习问题提供了 一个统一的框架。支持向量机方法建立在统计学习理论的VC维理论和结构风险最小原理基 础上，它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不是样本数趋于 无穷大时的最优值。SVM的算法将实际问题通过非线性变换转换到高维的特征空间，在高维 空间中构造线性判别函数来实现原空间中的非线性判别函数(如图1所示)，特殊性质能保证 机器有较好的推广能力，伺时它巧妙地解决了维数问题，其算法复杂度与样本维数无关。SVM 的算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了 在神经网络方法中无法避免的局部极值问题。在SVM中，只要定义不同的核函数，就可以灵 活地实现多项式逼近、径向基函数方法、多层感知器网络等许多现有学习算法。关于支持向 量机的完整理论和算法请参考文献…叫。 臣 图1支持向量机通过非线性映射把一个输入空间(inputspace)的非线性问题转为 高维特征空间(feature space)的线性问题．然后在特征空间构造最优超平面 采用满足Mercer条件的不同函数充当SVM的核函数，可以构造出实现输入空间中不同 类型的非线性决策面的学习机器。通常采用的有以下三类核函数： Kernels) I．多项式核函数(Polynomial