基于MOC多分类最小二乘支持向量机在教学质量评估系统中应用.docVIP

基于MOC多分类最小二乘支持向量机在教学质量评估系统中应用 　　 　　中图分类号：TP274文献标识码：A 文章编号：41-1413（2012）03-0000-03 　　摘要：在教师教学质量评估过程中，如何有效屏蔽或忽略学生的个人因素干扰，更加真实的体现出教师个人教学质量的实际水平，是一个迫切需要解决的问题。最小二乘支持向量机的多分类方法的学习以及小样本识别等方面有着独特的优势。提出了基于LSSVM的多分类模型，可被应用于教学质量评估系统中，经验证可获得较好的测试结果。 　　 　　关键字：最小二乘支持向量机；多分类；教学评估系统 　　0 引言 　　统计学习理论[1]是一种针对小样本统计估计和预测的机器学习理论，该理论由Vapnik等人提出，并在此基础上提出了支持向量机（Support Vector Machine，SVM）的方法，是该理论的成功实现。最小二乘支持向量机(Least Squares Support Vector Machine[3]，LSSVM) 是由比利时新鲁汶大学的Suykens等人提出的一种改进的支持向量机模型，通过构造新的二次损失函数将支持向量机二次规划问题变为线性方程，提高了支持向量机求解的速度和精度。目前，关于支持向量机和最小二乘支持向量机在分类问题及回归预测问题方面都得到了广泛的应用。 　　对于分类问题，在实际应用中通常遇到的都是多值分类问题，基于SVM的多分类算法都能够很好的解决这些问题。然而由于需要求解二次规划问题，所需的计算时间是较大的。文献[2]中对于LSSVM和SVM的分类精度和训练速度的对比分析研究表明：由于LSSVM采用最小二乘法来解决线性方程的问题，其求解的复杂度和计算量与SVM相比都是较少的。当训练集和测试集的比例较大时，其分类精度趋于一致，但LSSVM的训练时间却大大缩短。 　　1 最小二乘支持向量机 　　Suykens于1999年将最小二乘原理与SVM相结合，其目的是使SVM能够在大样本情况下进行学习。其主要思想就是，利用非线性映射函数，将测试样本映射到高维特征空间，并构造最优分类面。利用误差值 作为损失函数，将约束条件转换为等式约束, 从而以线性问题求解。 　　假设有样本训练集合 　　 （1） 　　其中 。求解LSSVM的优化超平面，即为求解以下凸优化问题的解 　　 （2） 　　引入拉格朗日函数优化该问题： 　　 （3） 　　其中 是拉格朗日乘子，根据KKT条件 　　 （4） 　　分别对 、 、 和 ： 　　 （5） 　　求解，得矩阵： 　　 （6） 　　其中， ， ， ， ， 。简化得 　　 （7） 　　将式（7）展开得线性方程组： 　　 （8） 　　将Mercer条件应用于 　　 （9） 　　将式（9）带入式（7），得 　　 （10） 　　由式（10）可知，若训练样本集合中有 个样本点，则式中有 个待测值， 个方程和 的平方个乘积系数，则样本点的数量多少与该式的系数矩阵大小是有直接联系的。 　　由上述分析可见，式（1）的凸优化问题可通过解式（8）的线性方程组获得，避免了解二次规划的问题。最终，可得LSSVM的分类器 　　 （11） 　　其中， 为内积， 为式（8）的解。 　　2 多分类算法 　　在分类问题中，LSSVM主要是研究二分类问题，根据支持向量机的基本理论，对样本分类主要利用最优超平面作为分类面，将两类样本分开，并使分类面以最优超平面的法方向的正向或反向平移，直到接触到分类样本。此时两类样本的分类面之间的间隔为最大时，则达到最优分类效果。但是在实际问题的解决中，当二分类的分类方法遇到三类或以上的样本集时，该方法就无法解决。因此，将该算法进行改进，以期解决多值分类的问题。 　　2.1 一对余算法 　　一对余 (1-a-r[5])算法的基本思想是：假设训练样本集 　　 （12） 　　中共有 类，则需构造 个SV分类器对该样本集进行分类， 是 的分类标号。将第 个分类器的训练样本的分类标号设为 ，其它样本分类标号设为 ，则第 个SV分类器求解如下问题： 　　 （13） 　　其中， 是被内积函数决定的从非线性映射 映射到高维空间的点 ， 的最小化即最大化 ，也就是两类数据的最大间隔。求解式（13），可得到k个决策函数 　　 （14） 　　对于测试样本 ，判断式（14）中的据侧函数值最大者，则归类于相应的决策函数，即 　　 （15） 　　由式（12）至式（15）可看出，该算法根据样本集中类别数 ，构造 个二分类分类器，直观的根据类别数目进行分类，分类速度较快。但是，当类别数 过大，所需构造的二分类分类器也需增加时，每个分类器在训练样本数急剧增加的情况下，训练速度会急剧下降。因此，在