模糊数学,分类器融合技术分析.pptxVIP

基于模糊规则的多分类器融合 刘 明 袁保宗 苗振江 唐晓芳 基本内容 摘要 1.补充知识 2.引言 3.基于模糊规则的多分类器融合 4.基于支持向量的模糊系统设计方法 5.实验 6.总结 7.参考 文 献 Company Logo 摘要 用非线性方法解决多分类器融合问题能够取得比较高的识别率， 但是，当前被应用在多分类器融合领域中的非线性方法可理解性较差，给使用者带来一定的困难。而基于模糊规则的模式识别方法是一类可理解性好的非线性方法，但迄今为止还没有被应用于多分类器融合问题中。基于上述考虑，该文将模糊系统应用到多分类器融合中，并且研究了如何设计可理解性好、精度高的模糊系统的问题，提出了一种改进的基于支持向量的模糊系统设计方法。该方法在从ELENA项目数据库和UCI数据库中选出的4个数据集上进行了测试。 实验结果表明，该方法能够用可理解性好的模糊系统实现低错误率的多分类器融合。 关键词：信息融合；模式识别；模糊逻辑；支持向量机 1.补充知识 分类器：给出一个数据集D，机器学习的目标是产生一个联系属性值集合A和类标集合C的分类、预测函数，这个函数的目的是预测新函数的类属性，这个函数被称为分类模型，预测模型，或者分类器。 泛化能力：概括地说，所谓泛化能力（generalization ability）是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力 3.K-NN算法：即K-近邻算法， K最近邻(k-Nearest Neighbour，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近) Company Logo 1.补充知识 的样本中的大多数属于某一个类别，则该样本也属于这个类别。 用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。根据这个说法，看下引自维基百科上的一幅图： 4.置信度：一条规则X Y是指即包含X有包含Y的事务的数量占所有包含X的事务是量的百分比。这乐意看做是条件概 Company Logo 1.补充知识 率P（Y|X）一个估计，置信度的计算如下： 置信度=（X?Y）.count/X.count 置信度决定了规则的可预测程度，如果一条规则的可以测程度过低，那么就很难从X推导Y，置信度过低的规则在实际中应用不大。 5.支持向量机：是一种有监督学习方法，即已知训练点的类别，求训练点和类别的之间的对应关系，以便将训练集按照类别分开，或者预测新的训练点的所对应的类别。 支持向量机的主要思想：建立的分类超平面能够保证分类的精度的同时，使得超平面两侧的区域最大，从而实现超平面的最优分类问题。 6.支持向量：是指训练集中的训练点，这些点最靠近分类决策面，是最难分类的点。 Company Logo 1.补充知识 给出支持向量机的主要思想的概图： 8.数据压缩法：数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩包括有损压缩和无损压缩。 Company Logo 2.引言 多分类器融合是目前模式识别领域的一个研究热点，人们已经提出了很多种融合方法，如投票法[1]，证据理论方法[2]，模糊积分方法[3]，神经网络方法[4]，回归方法[5]等。考虑一个一般性的多分类器融合问题，假定我们对各个分类器之间的关系不清楚，只有大量的训练样本，那么我们可以认为分类器之间的关系是复杂的，非线性的。许多研究成果表明针对这种一般性的多分类器融合问题，采用非线性方法能够取得比较好的效果。例如实验表明基于非线性回归的融合方法比基于线性回归的融合方法正确识别率高。神经网络是一种经典的非线性方法，它已经被证明是一种很好的多分类器融合方法[4,7]。证据理论方法和模糊积分方法也属于非线性方法。但是目前已经应用在多分类器融合中的非线性方法可理解性较差，为使用者带来一定的困难。这里所说的融合方法的可理解性指的是融合规则形式上比较简单，符合 人类的思维习惯，便于理解。神 Company Logo 2.引言 经网络由于可理解性差，被人们称为“黑箱子”；而非线性回归方法中要使用很多难以解释的参数；基于证据理论的方法中使用的合成规则也是很复杂的；基于模糊积分的方法的融合规则以根据模糊测度定义的模糊积分的形式表达出来，这种形式可理解性也