Chap07贝叶斯分类器-周志华.pptVIP

拉普拉斯修正 若某个属性值在训练集中没有与某个类同时出现过，则直接计算会出现问题，. 比如“敲声=清脆”测试例，训练集中没有该样例，因此连乘式计算的概率值为0，无论其他属性上明显像好瓜，分类结果都是“好瓜=否”，这显然不合理。 拉普拉斯修正 若某个属性值在训练集中没有与某个类同时出现过，则直接计算会出现问题，. 比如“敲声=清脆”测试例，训练集中没有该样例，因此连乘式计算的概率值为0，无论其他属性上明显像好瓜，分类结果都是“好瓜=否”，这显然不合理。 为了避免其他属性携带的信息被训练集中未出现的属性值“抹去”，在估计概率值时通常要进行“拉普拉斯修正”（Laplacian correction） 令 表示训练集 中可能的类别数， 表示第 个属性可能的取值数，则式 (7.16)和 (7.17)分别修正为 现实任务中，朴素贝叶斯分类器的使用：速度要求高，“查表”；任务数据更替频繁，“懒惰学习” (lazy learning)；数据不断增加，增量学习等等。 章节目录 贝叶斯决策论 极大似然估计 朴素贝叶斯分类器 半朴素贝叶斯分类器 贝叶斯网 EM算法 半朴素贝叶斯分类器 为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用的属性条件独立性假设；对属性条件独立假设记性一定程度的放松，由此产生了一类称为“半朴素贝叶斯分类器” (semi-na?ve Bayes classifiers) 半朴素贝叶斯分类器 为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用的属性条件独立性假设；对属性条件独立假设记性一定程度的放松，由此产生了一类称为“半朴素贝叶斯分类器” (semi-na?ve Bayes classifiers) 半朴素贝叶斯分类器最常用的一种策略：“独依赖估计”(One-Dependent Estimator,简称ODE)，假设每个属性在类别之外最多仅依赖一个其他属性，即 其中 为属性 所依赖的属性，称为 的父属性 对每个属性 ，若其父属性 已知，则可估计概值 ，于是问题的关键转化为如何确定每个属性的父属性 SPODE 最直接的做法是假设所有属性都依赖于同一属性，称为“超父” (super-parenet)，然后通过交叉验证等模型选择方法来确定超父属性，由此形成了SPODE (Super-Parent ODE)方法。 图7.1 朴素贝叶斯分类器与两种半朴素分类器所考虑的属性依赖关系 在图7.1 (b)中， 是超父属性。 TAN TAN (Tree augmented Na?ve Bayes) [Friedman et al., 1997] 则在最大带权生成树 (Maximum weighted spanning tree) 算法 [Chow and Liu, 1968] 的基础上，通过以下步骤将属性间依赖关系简约为图7.1 (c)。 计算任意两个属性之间的条件互信息 (conditional mutual information) 以属性为结点构建完全图，任意两个结点之间边的权重设为 构建此完全图的最大带权生成树，挑选根变量，将边设为有向； 加入类别节点y，增加从y到每个属性的有向边。 AODE AODE (Averaged One-Dependent Estimator) [Webb et al. 2005] 是一种基于集成学习机制、更为强大的分类器。 尝试将每个属性作为超父构建 SPODE 将具有足够训练数据支撑的SPODE集群起来作为最终结果 其中， 是在第 个属性上取值 的样本的集合， 为阈值常数 其中， 是在第 个属性上取值数， 是类别为 且在第 个属性上取值为 的样本集合， 章节目录 贝叶斯决策论 极大似然估计 朴素贝叶斯分类器 半朴素贝叶斯分类器 贝叶斯网 EM算法 贝叶斯网 贝叶斯网 (Bayesian network)亦称“信念网”(brief network)，它借助有向无环图 (Directed Acyclic Graph, DAG)来刻画属性间的依赖关系，并使用条件概率表 (Conditional Probability Table, CPT)来表述属性的联合概率分布。 贝叶斯网 贝叶斯网 (Bayesian network)亦称“信念网”(brief network)，它借助有向无环图 (Directed Acyclic Graph, DAG)来刻画属性间的依赖关系，并使用条件概率表 (Conditional Pr