机器学习研究及最新进展.pptVIP

机器学习研究及最新进展 * * 机器学习研究及最新进展 * * 机器学习研究及最新进展 * * 机器学习研究及最新进展 * * 机器学习研究及最新进展 * * * * * 存在问题 SVM只从存在上解决了划分问题，并没有真正在划分上解决核函数的构造问题。 泛化问题不仅需要解决划分问题，还需要解决最大边缘问题。这意味着，需要在满足线性划分的核函数中选择一个满足最大边缘的核函数(模型选择)。 返回 * * 集成机器学习动机(Ensembles) 在形式上与Madline类似，其泛化理论来自PAC的弱分类器理论。 使用多个容易设计的简单PAC弱分类器代替一个较难设计的PAC强分类器。 * * 研究背景 [Valiant’84] introduced theoretical PAC model for studying machine learning [KearnsValiant’88] open problem of finding a boosting algorithm [Schapire’89], [Freund’90] first polynomial-time boosting algorithms [Drucker, SchapireSimard ’92] first experiments using boosting * * 背景 (cont.) [FreundSchapire ’95] introduced AdaBoost algorithm strong practical advantages over previous boosting algorithms experiments using AdaBoost: [DruckerCortes ’95] [SchapireSinger ’98] [JacksonCravon ’96] [MaclinOpitz ’97] [FreundSchapire ’96] [BauerKohavi ’97] [Quinlan ’96] [SchwenkBengio ’98] [Breiman ’96] [ Dietterich’98] continuing development of theory algorithms: [Schapire,Freund,BartlettLee ’97] [SchapireSinger ’98] [Breiman ’97] [Mason, BartlettBaxter ’98] [Grive and Schuurmans’98] [Friedman, HastieTibshirani ’98] …… * * A Formal View of Boosting Given training set X={(x1,y1),…,(xm,ym)} yi?{-1,+1} correct label of instance xi?X for t = 1,…,T: construct distribution Dt on {1,…,m} Find weak hypothesis (“rule of thumb”) ht : X ? {-1,+1} with small error ?t on Dt: output final hypothesis Hfinal * * 集成机器学习 1990年Shapire证明，如果将多个PAC弱分类器集成在一起，它将具有PAC强分类器的泛化能力。 进而，又说明，这类集成后的强分类器具有统计学习理论的基础。 * * 弱分类器 如果一个分类器的分类能力(泛化)稍大于50%，这个分类器称为弱分类器。 这意味着，比掷硬币猜正面的概率稍好，就是弱分类器。 * * 集成 在分类时，采用投票的方式决定新样本属于哪一类。 由于每个分类器的分类能力不同，在集成时，需要对所有分类器加权平均，以决定分哪类。 * * 集成分类器 Classifier ensemble Σαihi hn h2 h1 Input vector Classifier 1 Classifier 2 …… Classifier N Combine Classifiers Output * * 为什么吸引人 弱分类器比强分类器设计简单。 有统计学习理论的基础。 典型方法：加权多数算法，Bootstrap, ADABOOST 等。 返回 * * AdaBoost [FreundSchapire ’97] constructing Dt: given Dt and ht: where: Zt = normalization constant final hypothesis: