基于条件信息熵的自主式朴素贝叶斯分类算法.docVIP

基于条件信息熵的自主式朴素贝叶斯分类算法 　　摘要：朴素贝叶斯是一种简单而高效的分类算法，但其条件独立性和属性重要性相等的假设并不符合客观实际，这在某种程度上影响了它的分类性能。如何去除这种先验假设，根据数据本身的特点实现知识自主学习是机器学习中的一个难题。根据RoughSet的相关理论，提出了基于条件信息熵的自主式朴素贝叶斯分类方法，该方法结合了选择朴素贝叶斯和加权朴素贝叶斯的优点。通过在UCI数据集上的仿真实验，验证了该方法的有效性。 　　关键词：朴素贝叶斯；粗糙集；条件信息熵；自主式学习；分类 　　中图分类号：TP311.13文献标识码：A 　　文章编号：1001-9081(2007)04-0888-04 　　0引言 　　由于粗糙集(RoughSet,RS)理论[1]能有效处理不精确、不一致及不完整等不完备信息，并从中发现隐含的知识，揭示潜在的规律，近年来越来越多的研究人员开始对它进行研究，从理论上建立了Rough集理论的数据模型，还提出了很多算法在机器学习、数据挖掘和人工神经网络等方面得到了广泛应用[2]。 　　在传统的机器学习研究中，人们都借助于部分领域先验知识。概率论根据人们的概率模型假定这一先验知识处理不确定性问题，模糊集理论根据人们对隶属函数的假设这一先验知识处理不确定性问题。这些方法都将人类的先验知识用于处理不确定性，不是完全根据原始数据来进行分析，