多支持向量机融算法研究.pdf

多支持向量机融合算法研究 摘要 统计学习理论系统地研究了小样本情况下的机器学习问题。20世纪90年代，在这一理论基 局部极小等问题，具有很强的泛化能力。 多分类器融合作为信息融合、模式识别、机器学习等领域交叉形成的一个分支，近年来成为 一个新的研究热点。对于多个两分类SVM分类器融合方法及应用方面的研究还不完善，而对于 多个多分类支持向量机(Multi．classSVM，MS、徂订)分类器融合的研究更是刚刚起步。 本文对多个SVM分类器融合和集成方法及应用进行了系统深入的研究。主要工作包括以下 几个方面： 介绍了机器学习、统计学习的理论基础，在此基础上详细介绍了SVM方法的概念和特点， 全面系统地阐述了SVM、信息融合、多分类器融合的研究进展和现状，分析了SVM分类器融合 方法的研究发展趋势和存在的不足。 针对如何通过分类器融合提高决策分类性能，同时保持低的计算复杂性和占用较少存储资源 的问题，提出了一种基于粗集理论构造SVM集成分类器的新方法。首先利用基于粗集理论的属 性约简算法删除冗余和次要属性，得到最优特征子集，并根据最优特征子集来构建相应的输入子 空间。然后对于每个输入子空间，训练相应的SVM子分类器。具有较高分类性能的SVM子分类 器被挑选出来用于建立SVM集成分类器。最后通过医疗诊断数据集进行了仿真验证，并与其他 分类器集成方法进行了比较分析。试验结果验证了所提方法的有效性。 针对多信息源、多分类问题，提出了几种基于MSVM的集中式和分布式融合策略和方法， (one-against-a11)和有向无环图(DirectedAcyclic 分类嚣。裁矮多豪柴淫辍靛故障诊鼗数据集对嚣挺方法遴孬了验强，撵翅分辑晓鞍了器静聚食方 法的傀缺点、适用范围以及三种MSVM分类器的性能差异。 提出了多分类概率嶷持向量机(Multi-classProbability 该冀洼静蠢效蛙。 提出了MPSVM在证据理论搬架下的基本概率分配函数，证据理论支待向量机 诗羹本襁率分配匪数，测矮涯据舍莠溉剿合莠MPSVM提供懿证据，芽仅对单元素集瘦角最太嫠 任准则，建立了DSMSVM。这种类型的学习机器能够提供更多的用于后续处理的信息。在此基 础上用多个DSMSVM分类器融合来解决分布式的多债息漾、多分类问题。针对每～个源建立相 应弱DSMSVM分类器，然岳翻瘸谨援理论台著燕英鼙邂孪亍努类器证据融台，最终决镱遥过最大信 任决策凇则给出。将所撮方法应用于紫油机的分布式故障诊断，获得了比传统方法熙好的性能， 提高了诊断的准确率和蛰棒性。 过程中的经验重要度，缭出了两种根攒识别率来计算MPSVM分类器在融合过程中霞要度的方 法：一种是利用每个MPSVM的整体识别率；另一种是利用每个MPSVM对于每一类的识别率。 酝提算法豹有效瞧在繁潍瓿的努商式鼓障诊断中遗行了仿真验证。 针对非线性系统的辨识与控制问磁，提出了基于SVM的逆学习方法。充分利用了SVM的 小样本绒计学习、泛化§力强的特点，采用SVM回归{鞋好地逼近来知强非线性对象，对于受噪 声污染煞数据具毒趣好瓣适应麓力，势在仿真中餐戴了有效验证。 关键诵：税器学习，统诗学习理论，支持商量枫，狺息融合，分类器融合，多类分类 狂 III l曦SEARC珏oNT珏EFUSlONALGORrI’HMoFMUIfTlPLE SUPPoR罩VECToRMACH”幔S ABSTRACT The statistical researchesthemachine withsmall learningtheory systemically learningproblem number of Vector a samples。In novel machine 1990s，SupportMachine(SVM)as