6 贝叶斯网络学习.pptxVIP

从数据中学习贝叶斯网络 Anders L. Madsen HUGIN EXPERT A/S March 2012 大纲 贝叶斯网络的构建 参数学习 序列学习 结构学习 2 从数据中学习贝叶斯网络 贝叶斯网络包含了一个图形结构(DAG)和一组条件概率表(CPTs -参数) 贝叶斯网络的构建是作为一个劳动密集型知识获取工具 这种够构造可以是自动或半自动的(根据数据库中的案例和专家知识) 学习结构框架 学习一批概率事件 学习连续概率 3 学习一个贝叶斯网络 诱导结构的图形表示 数据和专家知识的融合 估算参量 数据和专家知识的融合 4 胸部诊所 呼吸短促(D)可能是由于肺结核（T）、肺癌（L）、支气管炎(B)引起，或者都不相关,也可能跟它们不止一个相关 近期去亚洲出差(A)增加了得肺结核的可能,而抽烟(S)对于肺癌和支气管炎是一种已知的危险因素 单一的胸部X光片(X)的结果并没有区分肺癌和肺结核，也不能够知道有没有呼吸困难A 5 参数估计 参数的学习是通过识别的CPTsP的贝叶斯网络N =(G,P) 理论思考,数据库案例,主观评估 CPTs建立在数据库的案例基础之上 数据库案例：D = { c1,…,cN } 一些案例中可能会有遗漏一些值 CPTs通过最大似然估计进行评估 n是Y=y在案例中的期望值 6 参数估计 近期去过亚洲患有肺结核的概率是多少? n(最近去过亚洲) = n(A = y) = 92, n(最近去过亚洲并且已患有肺结核) = n(A = y, T = y) = 5: 7 参数估计 优先的(领域专家）知识可以被利用 经验是已经观察到 pa(Xi ) = j 时间上的量级： 经验计算作为正数αj > 0 也用于打开或者关闭这种学习模式 利用先验知识同时加速和引导学习搜索全局的最优值 当丢失一个标准值时就会利用期望值计算 包括参数不出现在数据中 8 期望最大化算法 EM算法是一种利用目前的估计值作为真值的迭代过程 重复 预计期望的计算 θ:n∗(W)=Eθ{n(W)|||D} 计算新的估计值θ: 直到满足迭代标准停止计算 算法的控制参数是: 根据经验计算初始化参数值 停止准则:满足公差标准及迭代的最大次数 9 质量模型 我们可以利用模型可能给出的数据进行质量检测数据: 这个质量检测不需要对复杂的模型进行解释，由于过度捏合也不用来进行模型的选择 EM算法停止计算标准: 10 AIC和BIC分数 AIC和BIC是将模型的复杂性考虑进去的质量评估 Akaike信息准则(AIC) d为模型中若干的自由参数 d的存在制约了模型的复杂性 贝叶斯信息准则的标准(BIC) d 为模型中若干的自由参数 −d/2 log(N) 限制了模型的复杂性 除非log(N) < 2， AIC > BIC 11 序列的学习 某些特定的结构,但是要有适应特别环境的可能性 循序渐进更新贝叶斯网络的任务 应用于不同的设置、模型不确定性、随着时间的推移等 CPTs更新基于插入和观察的传播 通常有许多遗漏值 12 渐消因子/经验值 已经观察到经验随时间pa(Xi ) = j变化的次数 (样本大小) 经验值为正数αj > 0 也用于开始/结束学习 衰落的影响因素在一定程度上降低了过去的一些经验 衰弱因素是接近1的正数 Hugin渐消是根据 13 序列的学习 这样的分布假设可以进行独立改进: 整体独立性:二阶不确定度的变量是独立的 局部独立性:二阶不确定度不同来源配置也是独立的 样本量越大，二阶的不确定性就越小 14 结构的学习 这项任务是识别问题域实体之间的依赖关系 目的是为了构建一个简单的模型,但一个困难的任务是: 可能的空间结构不仅巨大而且只能近似: 许多不同的结构编码运用一组独立或者是相关的声明（等价类) 可能有隐藏的变量 15 结构的学习 贝叶斯网络的图表引发了一系列相关或者独立的说明 16 等价模型 M1和M2两个模型在统计上是等价的，当且仅当它们包含了同一套变量及共同样本时，并且通过它们提供连续不断的非统计组合 任何两个通过相同的一组变量的M1和M2模型,它们的图表对具有相同的骨架图和相同的v型结构来说是等价的 A→B→C 和 A←B←C 和 A←B→C 所有完整的模型 因此,我们无法区别 A→B→C和A←B←C和 A←B→C仅仅是基于数据 可以从A → B ← C区分 17 等价分类 一个等价分类类是具有相同的一组独立性质的一个最大系列集合 I, II, 和 III 代表了在独立与相关关系条件下的类似的序列 如果结构从数据中获得鉴定，来自相同等价类的Gi与 Gj 不能够被区分 18 结构的学习 结构学习算法： 1 独立执行测试 2 确定图表结构 3 识别对撞机 4 识别派生