读DaphneKoller的“概率图模型”介绍.ppt

谢 谢 愚者浅谈，不足为凭 痴人梦语，切勿轻信 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * 基于MLE的学习算法 命题：令D是对变量X1,…,Xn的完全数据集合，G是定义在这个变量集合上的BN，令 是使得 最大的参数，则 使得L(? : D)最大。 意义：满足一定假设，BN的整体最大似然，可以从局部最大似然获得。 学习算法：对BN的每个节点，在其父辈的条件下，根据数据集合，分别计算这个节点的最大似然。即， 根据上述命题，即可获得最后解答。 BN的Bayes预测学习 任务：计算后验概率分布P(?|D)，仅需计算似然函数P(D|?)和先验概率分布P(?)。Bayes预测学习就是计算这两个函数 给定BN，参数考虑为随机变量，表述为分布函数。 似然函数：对样本逐一计算。根据当前参数，修正参数(预测)。 先验分布函数：希望先验与后验表示形式相同，Dirichlet分布。 对BN的预测学习，关键是需要将整体分布分解为局部分布。 其中 似然计算 似然函数P(D|?)的计算采用预测新样本的分布，给定BN，从DM获得参数?的分布，对新的观察x[M+1]，可以使用链式规则： 其中DM是数据集合D中，前M个样本构成的集合。DM(?M)对x[M+1]独立。 这暗示，从样本集学习参数，可以一个一个样本逐步进行 预测x[M+1]变为：根据后验，对所有参数平均(期望)， 先验分布P(?)的选择 Dirichlet分布： 满足先验概率与后验概率形式一致的要求。?k：样本k值出现频率。 优点一：形式一致且紧凑。修改参数容易。 后验：P(x[M+1]=xk | D) = EP(?|D)[?k]，对Dirichlet分布, E(?k) = ?k / ?j?j 优点二：新参数是基于对已有参数的平均，这避免某个参数过学习的误差，带到新参数的估计。 学习MN 对学习而言，MN与BN的区别是：MN的平均是在图结构整体上(划分函数Z)，与图结构的所有参数相关联，不能分解。由此，不得不使用迭代的优化方法 好消息：似然函数能够保证收敛到全局最优。 坏消息：每次迭代需要推断。 注释：对图结构，BN学习依赖数据集合分布P(D)，由于D是给定的，因此，BN可以分解为部分求解(删除任何条件独立的边)；对MN则依赖划分函数，Z=??1(X1)?,…,??k(Xk)，这意味着，改变任何一个势函数?j，Z将改变，分解为局部是不可能的。这是MN不得不求助优化的原因。 MN的似然函数 MN已知，并表示为： 将?写成权值和特征函数的形式：?i(Di)=?ifi(Di)。似然函数为 其中?是表示变量关系的势函数，这里的Di表示?i涉及的变量观测(在MN上的完全子图) 取对数 注意：在特征函数中，?(zeta)表示第m个样本中与f有关变量的数值，这恰恰反映了MN的结构。方括号内是M个样本。 MN参数估计算法 对数似然函数 为了计算最大似然，对?求导，并令其为0。 右边第1项是对所有样本的平均(经验)，第2项是对参数?的平均(期望) 如果?是最大似然参数，iff 对所有i，ED[fi(?)]=E?’[fi]。 学习结构 对一个由变量集合构成的图结构，有两个极端情况(平凡)： 所有变量两两相连 A B E C D 所有变量不相连接 A B E C D 学习：部分相连 A B E C D A B E C D 目标: (1)根据给定数据集发现变量之间的关系，知识发现；(2)密度估计，其本质是泛化。 加边 删边 核心：从数据集发现变量之间的独立关系I-map。 困难: (1)噪音，没有绝对独立，(2)稀疏解答。 结构学习的基本方法 (1)假设空间的模型选择：设计一个图结构对给定数据集合符合程度的评分准则。 (2)Bayes模型平均：有些类似Bagging。 假设空间---模型选择的学习 假设空间：待选的图模型，评分函数间接描述假设空间 评分函数：模型复杂程度和对给定数据集合的符合程度。 评分函数： 似然评分函数 Bayes评分函数 似然评分函数 令G是一个待选的图结构，?G是这个图结构上的参数，对给定数据集合D，关于G与?G的似然函数：L(G, ?G : D)。 目标:从待选的图模型中选择似然最大的图模型(结构和参数) 似