一种通用的集成学习算法.docxVIP

一种通用的集成学习算法 在机械学习领域，schapire等人提出的adaboost算法无疑是最受关注和研究的算法之一。该算法是一种基于valint提出的pac（可执行微锁）的学习模型。根据keean提出的模型学习和valint提出的弱学习概念，具体实现弱学习算法向强学习算法的转变的可操作算法。adaboost算法、realadaboost算法和gentreavobst算法已在许多领域得到应用。这是目前检测面部特征的最佳方法之一。基于adaboost算法的技术和思想，许多研究人员在制定该算法方面解决了多分类、价格复杂分类、不平衡分类、模糊分类等问题。然而，在推广这项算法时，几乎需要不同的处理方法，尤其是弱学习算法的结构。弱学习算法的泛化能力决定了集成学习算法的泛化能力。在实现训练错误（或错分）最小化的模式评价功能时，为了确保不出现学习，现有的许多集成学习算法都存在相应的分析不足。 如果能对二分类、多分类、代价敏感分类、不平衡分类、多标签分类等众多分类预测问题的集成学习算法进行统一,包括对弱分类器的构造的统一必然是一件好事.集成学习算法的构造一般要求体现弱学习定理的思想,即算法能将弱学习算法提升为强学习算法,这并非易事.首先,弱学习定理成立的条件是弱学习算法要比随机猜测略好,这在二分类问题中容易实现,如果错误率大于0.5时,互换分类结果即可.但在多分类、代价敏感分类、不平衡分类等问题中,构造满足该条件的弱分类器是困难的,如果还要求统一的构造方法就更难.其次,算法需确保组合预测函数比单个简单预测函数的预测效果更好,这就要求算法不仅有低的训练错误率,还应该有好的泛化能力.泛化能力不仅涉及到简单预测函数的组合方式,还涉及到简单预测函数的构造方法.最理想的集成学习算法应该是既可以很好拟合样本(训练错误率可以趋于0)又不易出现过学习的算法. 本文围绕boosting集成学习算法的统一和泛化能力的保证进行了较深入的研究,得到了一种通用的集成学习算法,其可以衍生出一系列具体的集成学习算法,包括经典的Real AdaBoost算法、多分类AdaBoost算法、Gentle AdaBoost算法,多标签分类集成学习算法、代价敏感分类集成学习算法等,理论上这些算法还能实现学习错误任意小.为了算法的统一和好的泛化能力,本文指出简单预测函数可以统一基于单个特征来构造,对其不易出现过学习重要特性进行了分析与实验验证. 1 根据lx,l所作的1/3. 设有预测函数f:X→RK,X为示例空间,f为X到K维空间RK的映射,所有X到RK的映射函数集记为Φ.示例x∈X的标识为K维空间RK中的向量Y=(y1,…,yK),并假设yk≥0(k=1,…,K),预测函数f(x)输出值为(f(x,1),…,f(x,K)). 考虑如下的预测问题:如果(f(x,1),…,f(x,K))与(y1,…,yK)各分量的大小顺序一样,则称f(x)正确预测了x.对于这种只关注分量大小顺序的预测问题,首先需要定义其学习错误,以便基于该学习错误的最小化来构造集成学习算法.对f(x)输出值按式(1)进行乘积归一化处理后记为F(x): F(x,k)=exp(f(x,k)-ˉf(x))?(1) 其中ˉf(x)=1ΚΚ∑k=1f(x,k),并且Κ∏l=1F(x,l)=1,且(F(x,1),…,F(x,K))与(f(x,1),…,f(x,K))各分量的大小顺序完全一致.如果(F(x,1),…,F(x,K))与x在K维空间RK中的标识向量(y1,…,yK)的对应分量成比例,即?l∈{1,…,K}有yl=cF(x,l),c0,则f(x)就正确预测了x.于是定义如下的学习错误: ε=Ex∈X[Κ∑l=1(yl×(F(x,l))-1)].(2) 因为Κ∑l=1(yl(F(x,l))-1)≥ΚΚ∏l=1(yl(F(x,l))-1)1/Κ=ΚΚ∏l=1(yl)1/Κ?注意到该式的右边与f(x)无关,并当且仅当yl×(F(x,l))-1=c(常数),即yl=cF(x,l)时,Κ∑l=1(yl×(F(x,l))-1)取到极小值.集成学习算法可基于最小化ε来构造,即 minf∈Φε=minf∈ΦEx∈X[Κ∑l=1(yl×(F(x,l))-1)]. 先不用关心示例x∈X的标识向量Y=(y1,…,yK)究竟是什么,后面的分析会指出,不同的赋值可得不同的学习算法.至于为何不直接采用(f(x,1),…,f(x,K))而用(F(x,1),…,F(x,K))来拟合(y1,…,yK),由前面的分析已经看出,如果没有乘积归一化条件,式(2)的极小值点无法保证yl=cF(x,l).后面的分析还会发现,采用指数函数对预测函数进行处理是为了在集成学习算法中形成递推公式. 设训练样本集S={x1,…,xm},xi∈X的标识为K维空间RK中的向