基于BP神经网络和SVM分类方法研究.docVIP

基于BP神经网络和SVM分类方法研究 　　摘要：介绍了BP神经网络和SVM算法的分类原理。附加动量因子和随机梯度下降法是对BP神经网络进行优化的重要方法，利用Google实验室的MNIST手写数字库研究了动量因子和随机数以及SVM不同核函数对分类性能影响，为实际应用中模型的选择提供一定依据。同时也研究了两个算法在不同样本数下的性能表现，实验表明样本数较少时SVM比BP具有更高的泛化能力。最后结合两个算法特点，给出层次分类法并做为今后研究方向。 　　关键词：MNIST数字库；BP神经网络；支持向量机；分类性能 　　中图分类号：TP391.41 　　文献标识码：A 　　DOI：10.3969/j.issn.1003-6970.2015.11.024 　　0 引言 　　很多实际应用问题都可归为分类问题，如故障诊断、模式识别等，分类过程包括分类器构造和运用模型进行分类两个步骤。神经网络和支持向量机（SVM）是分类领域中两种重要方法。神经网络是模拟人脑神经系统的数学模型，具有高度并行性、较强的自学习自适应和联想记忆功能特点。Vapnik在20世纪90年代基于统计学习理论提出支持向量机，它是借助最优化方法解决问题的，求解支持向量转化为解凸二次优化问题，它能够获得全局最优解，是结构风险最小化的算法。经过多年发展神经网络和支持向量机在很多领域取得成功，但是神经网络和支持向量机参数选择没有理论上支撑，参数选择优化是算法应用成功的关键，挖掘模型参数对算法性能影响具有重要意义。本文在Google的手写数字库上研究了BP（Back Propagation）神经网络和支持向量机的附加动量因子、随机数和不同核函数等变量对准确率、计算时间以及收敛曲线的影响，比较两个算法在不同训练样本数时性能表现。最后结合BP神经网络算法和SVM的各自特点提出分层分类模型，该方法适用于具有结构分解、功能分解特点的对象，为复杂对象分类提供了一种思路。 　　1 BP神经网络和SVM算法 　　1.1 BP神经网络技术 　　神经网络是对人脑的抽象、模拟和简化的信息处理模型，其中神经元数学模型、网络连接方式以及神经网络学习方式是神经网络的三个关键。神经网络原理是利用网络的学习和记忆功能，让神经网络学习各个类别中的样本特征，在遇到待识别样本时神经网络利用记住的特征信息对比输入向量，从而确定待测样本所属类别。该算法通过学习机制得出决策信息，并不需要模式先验知识。BP神经网络是目前最流行的一种神经网络模型，它是一种按误差反向传播的多层前馈神经网络，包括输入层、隐含层和输出层。Kolmogorov定理已经证明BP神经网络具有强大的非线性映射能力和泛化能力，任一连续函数或映射函数均可采用三层网络加以实现。 　　BP神经网络算法包括两个阶段：从输入层经过隐层逐层计算输出结果的过程，从输出层逐层误差反向传播的学习过程。正向传播过程中训练样本从输入层逐层处理传到输出层，将输出结果与期望值比较计算误差，若误差较大将误差按学习规则反向逐层分摊到各节点。学习规则用最快梯度下降法，通过反向传播不断调整网络的权值和阈值使网络的误差平方和最小。 　　1.2 BP神经网络学习算法的优化 　　传统BP算法采用梯度下降法，由于梯度下降法易陷入局部极小点而得不到全局最优解，在权值调整时增加动量因子项可以使算法对误差曲面局部细节不敏感能调出局部极小值。式1是学习算法的权值更新函数，其中△Wji（n）是第n次迭代时权值的更新，α（0≤α≤1）是动量系数，权值更新时不仅考虑了第n+l步梯度方向而且增加了以前梯度方向，目的是减少震荡。 　　△Wji（n+1）=（1-α）θδjxji+α△Wji（n） 　　（1） 　　由于批梯度下降法将所有用样本误差进行反馈学习而使得效率低下，训练次数多收敛速度慢。随机梯度下降法做为批梯度下降法的改进，每轮迭代时随机选取有限个样本误差进行学习，对于样本规模很大时可大大减少运行时间。随机个数选取是关键。 　　1.3 支持向量机方法 　　支持向量机是基于结构风险最小化原理的算法。分类原理是建立一个超平面作为决策面，该决策面在能够正确分类样本的情况下，使样本中离分类面最近的点的“间隔”最大。如图1中实线作为决策面可以将不同颜色的两类样本分开，虚线是由离决策面最近的点并且平行于决策面。虚线间距离称为间隔，当间隔最大时虚线上的点便是支持向量。SVM学习过程即是求支持向量。 　　对于非线性分类问题，将原始数据通过一个非线性映射Φ从原始R维空间映射到高维空间Ω，再在高维特征空间Ω中求最优分类面。Ω的维数可能会非常高，利用核函数可似解决维数灾难。根据相关定理，如果核函数K（xi，xj）满足Mercer条件，它就对应某一变换空间的内积K（xi，xj）=i），φ（xj）使得在