贝叶斯与频繁模式课件.pptx

1 Data Mining:  Concepts and Techniques — Chapter 9 —Classification: Advanced Methods 姓名：周芳 学号：2015216140 9.1贝叶斯信念网络 朴素贝叶斯分类假定类条件独立（实际上在现实应用中几乎不可能做到完全独立），在实践中，变量之间的依赖可能存在。各个特征属性间往往并不条件独立，而是具有较强的相关性，这样就限制了朴素贝叶斯分类的能力。贝叶斯信念网络说明联合条件概率分布。 它允许在变量的子集间定义类条件独立性。 它提供一种因果关系的图形，可以在其上进行学习 训练后的贝叶斯网络可以用于分类 March 31, 2017 Data Mining: Concepts and Techniques 2 两个成分定义 第一部分是有向无环图，其每个节点代表一个随机变量，而每条弧代表一个概率依赖。（变量可以是离散的或连续值的）第二部分是条件概率表。 March 31, 2017 Data Mining: Concepts and Techniques 3 9.1贝叶斯网络 March 31, 2017 Data Mining: Concepts and Techniques 4 在贝叶斯信念网络中对应于属性或变量 Z1....Zn的任意元组(Z1....Zn)的联合概率由下式计算： 如上图，对于FamilyHistory，Smoker，LungCancer这三个属性，用朴素贝叶斯计算，得到的联合概率是 贝叶斯网络求得联合概率为： 由条件概率表（CPT）求联合分布 变量Z的CPT说明条件分布P(Z|Parents(Z))，其中Parents(Z)是Z的双亲。对于其双亲值的每个可能组合，表中给出了LangCancer的每个值的条件概率。例如，由左上角和右下角， P(LangCancer=”yes”?|?FamilyHistory=”yes”,?Smoker=”yes”)=0.8? P(LangCancer=”no”?|?FamilyHistory=”no”,?Smoker=”no”)=0.9? 对应于属性或变量Z1,Z2,…Zn的任意元组（z1,z2,…zn）的联合概率由下式计算 March 31, 2017 Data Mining: Concepts and Techniques 5 March 31, 2017 Data Mining: Concepts and Techniques 6 例子： i、真实账号比非真实账号平均具有更大的日志密度、更大的好友密度以及更多的使用真实头像。 ii、日志密度与好友密度、日志密度与是否使用真实头像在账号真实性给定的条件下是独立的。 iii、使用真实头像的用户比使用非真实头像的用户平均有更大的好友密度。 March 31, 2017 Data Mining: Concepts and Techniques 7 通过对训练数据集的统计，得到下表（R表示账号真实性，H表示头像真实性）： 例如，现随机抽取一个账户，已知其头像为假，求其账号也为假的概率： March 31, 2017 Data Mining: Concepts and Techniques 8 我们的模型中存在四个随机变量：账号真实性R，头像真实性H，日志密度L，好友密度F 训练贝叶斯信念网络---构建： 1、主观 网络拓扑可以由专家构造或数据导出。专家通常对所分析领域成了的直接条件依赖有很好的把握，但是必须说明参与直接依赖接单的条件概率。 马尔科夫假设：在直接原因已知前提下，一个变量独立于与其没有影响的变量。 E.g., S ?— F —? A ?— T,在已知 F—?A的前提下 ，path S—?A 不通 隐马尔科夫模型 ： 常用于动态系统模型的状态是不明显的,但是他们的输出明显。 March 31, 2017 Data Mining: Concepts and Techniques 9 训练贝叶斯信念网络 设S是s个训练样本X1,X2,…Xs的集合， Wijk是具有是双亲Ui=uik的变量Y=yij的CPT项。Wijk可以看作权，类似于神经网络中隐藏单元的权。权的集合总称为w。这些权被初始化为随机概率值。梯度下降策略采用贪心爬山法。在每次迭代中，修改这些权，并最终收敛到一个局部最优解。基于w的每个可能设置都等可能地假定，该方法搜索能最好地对数据建模的Wijk值。目标是最大化?。这通过按梯度来做，使得问题更简单。给定网络结构和