基于对数似然优化的贝叶斯结构扩展研究.pdf

摘要

摘要

基于对数似然优化的贝叶斯结构扩展研宄

贝叶斯网络分类器（BayesianNetworkClassifier,BNC)建立在概率论和图论的理

论基础之上，是在不确定性下表示知识和推理的强大工具，常用于解决机器学习领域

中的分类问题。然而，以往的研究已经证实学习具有最优拓扑结构的BNC是一个NP难

问题。朴素贝叶斯（NaiveBayes,NB)通过假定属性间相互独立，极大地简化了网络结

构，并取得了不错的分类效果。然而，实际应用中属性间毫无关系并不现实，NB严苛

的独立性假设将导致分类性能下降。结构扩展通过在NB的网络拓扑中添加有向边来表

示属性间的依赖关系，是缓解独立性假设最高效的方法之一。在以往基于NB拓扑进行

结构扩展的BNC中，研究人员通常只关注属性之间的依赖关系，并使用条件互信息来

度M•单个有向边的显著性。然而，这方法并不能构建与数据拟合的模型，可能导致生

成的网络结构无法捕捉到数据的真实分布从而产生有偏的概率估计。因此，直接将NB

作为结构扩展的基拓扑是不合适的。

针对此冋题，本文提出的对数似然贝叶斯分类器(Log-likelihoodBayesianClassifier,

LLBC)算法引入对数似然函数作为评分函来度最模型与数据的拟合程度，识别数据

集中属性之间的条件依赖和属性与类标签的相互依赖关系，并应用启发式搜索策略从

空拓扑而不是NB拓扑扩展到任意k阶依赖拓扑。此外，一个仅对训练数据有效的单一

BNC可能无法泛化地来表示存在于未知场景中的依赖关系。因此，为了充分挖掘隐藏

于测试实例中的依赖关系，LLBC针对不同测试实例构建了不同实例化模型，最后以集

成的方式，将训练数据集和测试实例中分别学习得到的两个模型结合，实现最终的决

策分类。

在36个UCI基准数据集上的实验结果证明了所提出的LLBC算法在度最数据拟合方

面的有效性，以及其应用的启发式搜索策略在标记或未标记数据上的可行性。在0-1损

失，均方根误差，偏差，方差以及Friedman和Nemenyi检验等方面，LLBC与WATAN,

DWAODE，SKDB,IBWAODE,WAODE-MI，ICN等先进BNC相比具有显著的优越性。

I

摘要

关键词：

贝叶斯网络分类器，集成学习，属性独立性假设，对数似然函数，实例学习

II

Abstract

Abstract

ResearchofStructureExtensionofBayesianNetworkBasedon

LogLikelihoodOptimization

BayesianNetworkClassifier(BNC)isbuiltuponthetheoreticalfoundationsofprobability

theoryandgraphtheory,servingasapowerfultoolforrepresentingknowledgeandinference

underuncertainty.Itiscommonlyemployedinthefieldofmachinelearningtoaddress

classificationproblems.However,prior