基于KL距离的TAN分类器判别性学习方法.pdfVIP

计算机科学2007V01．34N0．8(A) 基于KL距离的TAN分类器判别性学习方法*) ofTANClassifierBasedKL Discriminative on Learning Divergence 冯奇田凤占黄厚宽 (北京交通大学计算机与信息技术学院 北京100044) Abtrad Naive makesa betweenthemodel and TAN(Tree-augmentedBayes)classifiercompromise complexity classificationrate，theofwhichhasnOWbecomeahotresearehissue．Inthis adiscriminative study paper，wepropose methodthatisbasedon tolearnTANclassifier．First，weuse a— KL(Kullback-Leibler)divergence EAR(explaining residual)methodtOleaⅡlthestructureofTAN．andthen T√～N an function way optimizeparametersby objective basedonKL resultsofthe onbenchmarkdatasetsshowthatour divergence．The experiments approachproduces betterclassificationrate． ． TAN classifier，Discriminative KeDvords learning。KLdivergence，EAR 判别函数，这个目标函数与分类目标是～致的，因此 1 引言 可以达到更好的分类精度。 分类是机器学习、数据挖掘和模式识别领域中 本文提出了一种基于KL距离的TAN分类器 的一个重要研究方向。Bayesian分类器建立在判别性学习方法。首先用基于信息理论的EAR Bayes统计和Bayesian网络方法的基础上，是一种(explainingaway 最优分类器模型。常见的贝叶斯分类器模型有NB 的结构，然后通过优化基于KL距离的目标函数估 (Naive Bayes)分类器、TAN(Tree-augmented计TAN分类器的参数。在UCI数据集以及人工合 Naive Bayes)[11分类器、GBN(GeneralBayesian成数据集上的实验结果表明，使用本文方法学习的 TAN分类器与采用衍生性学习策略相比能达到更 Network)分类器等。NB分类器要求在给定类变量 的情况下各属性结点条件独立，TAN分类器相对放 高的分类正确率。 宽了NB分类器的条件独立性约束，而GBN分类器 本文的结构如下：第2节介绍Bayesian分类器 对网络结构没有限制，能够构造出更符合实际的模 的相关概念和TAN分类器的建立；第3节阐述 型。 TAN分类器的判别性结构学习和参数学习方法；第 然而Friedman等人发现NB分类器在很多标4节给出在UCI数据集和人工合成数据集上用本 文方法学