产生式%2f判别式混合分类方法研究.pdfVIP

摘要 数据挖掘分类技术中的统计模型被分为产生式和判别式两大类，这两类模 型是近几年数据挖掘和机器学习的研究热点之一。产生式模型学习的是联合概 率，主要侧重各类数据的分布情况；判别式模型学习的是条件概率，主要侧重 各类数据的分类边界。两类方法侧重点不同，表现出的分类性能也不同。为了 充分利用两种分类器各自的优势，扬长避短，越来越多的学者们开始研究产生 式和判别式的混合分类模型，解决单类分类器不能解决、难以解决或者难以有 效解决的分类问题。 本文首先介绍了三个典型的混合模型框架，分析了这几个框架下，研究人 员已提出的产生式/判别式混合模型的具体形式及存在的问题。然后系统地论述 了产生式模型和判别式模型的概念、学习方法、统计特性，并对产生式和判别 式模型进行了详细的比较，分析了它们各自的适用领域。在此基础上，提出了 两种有效的产生式/判别式混合分类器：（1）鉴于AdaBoost 集成的思想，提出了 基于 AdaBoost 的产生式与判别式混合分类算法。该算法在AdaBoost 集成方法 的每一轮中同时学习两个分类器：一个产生式分类器和一个判别式分类器，选 择误差率较小的作为该轮中的个体分类器，然后对所有个体分类器采用加权的 方法得到最终分类器。实验结果表明，该方法在准确率和收敛速度上都有明显 的提高。（2 ）以符号回归的思想为基础，提出了基于遗传规划的产生式/判别式 混合分类方法。该方法将产生式和判别式模型混合的表达式学习看作符号回归 问题，利用遗传规划学习产生式和判别式的混合表达式。该方法是一种一般性 方法，不仅避免了求取产生式和判别式部分的权重的问题，而且产生式和判别 式混合的数学形式是根据数据集特征的变化而变化的，更具有适应性。实验结 果证明，该混合模型要优于单个的产生式模型和单个的判别式模型，在一定程 度上提高了分类的准确率。 【关键字】分类 产生式方法 判别式方法 混合模型 3 Abstract There is a statistical model in the Classification technology of data mining. It is divided into generative model and discriminative model. In recent years, these two methods become the research focus of data mining and machine learning. Generative model learning the joint probability, while discriminative model learning the conditional probability. There are many different points of generative model and discriminative model. Such as generative model primarily focuses on the distribution of various class of data，while the discriminative model focuses on the classification boundaries of different class of data. Certainly, there exist two distinct regimes of performance between the generative and discriminative classifiers. And some people give theoretical and empirical comparisons. If we consider the pros and cons of both discriminative and generative approaches,