一种基于固定增量单样本感知器的提升算法1.doc

一种基于固定增量单样本感知器的提升算法 摘要:本文提出了一种新的Adaboost算法—AdaBoostFISP。该算法以固定增量单样本感知器为弱分类器，在感知器的权值更新上采用固定增量代替变量增量，即采用固定增量单样本感知器算法。与现有的AdaBoost SVM、SVM-Perceptron、Perceptron算法相比，AdaBoostFISP在预测准确性和运算时间上都有很大的优势，本文同时给出了该算法的错误界，并且从理论上证明了该算法的错误界。大量实验结果显示了该算法与其他三种算法相比在预测准确性和运算时间的优势。 关键字：AdaBoost；感知器；固定增量单样本感知器；AdaBoostFISP A New AdaBoost Algorithm Based on Fixed Increment Simple Sample Perceptron Liu Jian-wei,Shen Fang-lin,Luo Xiong-lin,Li Shuang-cheng (School of Mechatronics, China University of Petroleum, Beijing 102249, China) Abstract:In this paper,we purpose a new AdaBoost algorithm—AdaBoostFISP, using Fixed Increment Single Sample Perceptron as weak learners for AdaBoost.The algorithm uses fixed increment instead of variable increment in weight updata of perceptron, named Fixed-increment Single Sample Perceptron algorithm .Compared with the existing AdaBoostSVM、SVMPerceptron and Perceptron methods, the algorithm has advantages of predictive accuracy and time; In this article,we give the error bounds in theroy and prove it. Experimental results demonstrated that the algorithms achieve better predictive in accuracy and time than AdaBoostSVM、SVMPerceptron and Perceptron. Keys word:AdaBoost;Prceptron; Fixed increment single sample perceptron;AdaboostFISP 最近几年，集成分类器方法是机器学习的主要发展方向之一，集成分类器方法通过联合许多分类器来组合成一个较高准确率的分类器[1]-[2]。目前为止建立集成分类器的主要两种方法是由Freund和Schapire发明的Boosting和Bagging，而且Boosting在大多数情况下的分类效果要比Bagging好，其中AdaBoost是最流行的Boosting方法。在AdaBoost算法中，每个样本都被赋予一个权值，表明它被某个分量分类器选入训练集的概率，在样本的权值更新上，它增加弱分类器错分样本的权值，降低正确分类样本的权值。 目前，AdaBoost的弱分类器主要有SVM、决策树、神经网络。这几种弱分类器虽然在分类上表现出了良好的性能，但是，当决策树作为弱分类器时，树的大小怎么选择是个问题；当神经网络作为弱分类器时，怎么控制它的复杂性来避免过学习，怎么设置RBF的域值都是棘手的问题；而且SVM作为弱分类器时怎么选择参数C也是个难点；所有的这些问题，在AdaBoost的实际应用中必须考虑，很大程度上增加了算法学习的复杂度；而且以上三种弱分类器算法时间复杂性很高。更重要的是现实中的许多问题需要使用在线算法作为弱分类器。 固定增量单样本感知器算法[3](Fixed Increment Single Sample Perceptron Algorithm)是感知器算 法的一种,为线性分类器，其基本原理和感知器算法一样，不同的就是在权值的更新上与变增量感知器相比，它采用了固定增量的形式，即，这很大程度上增加了它的普遍性；在参数选择上，只需要考虑初始权值，这很大程度上减少了算法复杂度；同时该算法每次输入一个样本，具有在线算法的特征。 在本文里，我们首先介绍了AdaBoost和固定增