集成学习(图像处理).ppt

集成学习 张士杰 内容提要 集成学习简介 弱可学习定理 集成学习系统的构建 算法简介：Ada-BoostingBagging 集成核匹配追踪学习机 谱聚类集成 神经科学基础 Ensemble(集群)一词，正是沿用了Hebb在神经科学中的术语。 Hebb倡导的多细胞集群学说，主张视觉客体是由相互关联的神经元集群来表象，并称其为集群。 数学描述 “基展开” 与一般的基展开不同的是，这里的f(x)是“弱学习器”，F(x)是将它们按一定方式叠加的最终结果。体现了“投票”的思想。 集成学习理论基础—— 弱可学习定理 弱可学习定理 定理：一个概念是弱可学习的，当且仅当它是强可学习的。 1990年，Schapire在PAC (Probably Approximately Correct,概率近似正确 )学习框架下证明了这一重要定理，由此奠定了集群机器学习的理论基础。 PAC学习理论 由某个确定但未知的任意分布随机抽取样本，学习器通过这些样本来学习一个概念，其任务是学到一个假设或预言规则使得它和这个概念相一致。这一假设不需要绝对正确，其错误率足够低（小于ε）只要以一定的概率（1－δ）成立即可。同时要求学习算法是（关于1/ε，1/δ）多项式时间的。 PAC学习理论 1994年，Kearns和Valiant在PAC学习基础上，进一步将PAC区分为强可学习与弱可学习。 所谓强可学习就是，如果存在一个多项式复杂性的学习算法来识别一组概念，并且识别错误率以概率1－δ小于一个很小的常数ε，那么这组概念是强可学习的。 如果存在一个多项式复杂性的学习算法识别一组概念的正确率仅比随机猜测略好，那么这组概念是弱可学习的。 Boosting? 是否可以将弱学习算法“提升”（boosting）成强学习算法？如果回答是肯定的，那么在学习概念时，只要找到比随机猜测略好的弱学习算法，就可以将其提升为强学习算法，而不必直接去寻找通常情况下很难获得的强学习算法。 --- Kearns和Valiant 弱学习算法与强学习算法的等价性猜想 Schapire通过一个构造性方法对该猜想作出了肯定的证明。 证明思路 1，如何构造弱分类器； 2，证明PAC的两个条件： 证明这样组合的弱分类器与强分类器一样，在概率1－δ下，其错误率小于ε； 证明构造过程的计算复杂性是多项式的。 证明思路 构造弱分类器：（Y∈{－1,1}；令D是原始样本集合） 从D中选择子集D1，根据D1训练第一个分类器h1，只需其是一个弱分类器。 选择样本集合D2，使得其中有一半被h1错分，根据D2训练新的分类器h2。 选择样本集合D3，使得h1和h2对其中所有的样本分类不一致，根据D3训练分类器h3。 对新样本的分类结果由h1、h2和h3按多数表决h来决定。 学习算法 Learn(ε, δ, EX) if( ) return WeakLearn(EX) α = g-1(ε) h1 = Learn(α, δ/k, EX1=EX) h2 = Learn(α, δ/k,EX2) h3 = Learn(α, δ/k,EX3) return h = sign(h1+h2+h3) 学习算法 Learn(ε, δ, EX) if( ) return WeakLearn(EX) α = g-1(ε) h1 = Learn(α, δ/k, EX1=EX) h2 = Learn(α, δ/k,EX2) h3 = Learn(α, δ/k,EX3) return h = sign(h1+h2+h3) 学习算法 Learn(ε, δ, EX) if( ) return WeakLearn(EX) α = g-1(ε) h1 = Learn(α, δ/k, EX1=EX) h2 = Learn(α, δ/k,EX2) h3 = Learn(α, δ/k,EX3) return h = sign(h1+h2+h3) 证明思路 如果这样得到的h的错误率比原来的弱分类器都低，则递归地使用这一过程可得到任意低的错误率ε。 证明思路 根据三个分布D1、D2、D3的关系，可以证明：如果h1, h2, h3在任意分布上的错误率小于等于α﹤1/2，则h=sign(h1+h2+h3)在任意分布上的错误率小于等于g(α)＝3α2－2α3。 由此，经过有限次递归，便得到任意给定精度的分类器。 证明思路 在上述构造过程中，弱分类器的误差置信度都是1－δ/k，因此，最终分类器的置信度满足 (1－δ/k)k1－δ。 由于算法每次递归时的性能增益与弱学习算法的最