机器学习研究-从贝叶斯定理到HMM模型.pdfVIP

概率图模型初步： 从贝叶斯定理到HMM模型 J @妖僧老冯 几个听课建议  在线课程，听什么？  听Big Ideas，细节课后复习，只听课就能完全掌握不可能。  误区：数学公式不是big ideas，而是big ideas的描述方法之 一，好的课程会在数学公式之前先介绍motivation （动机）。  学习过程  听课: 宏观掌握思路，清楚问题是什么，为什么要这么做。  复习：掌握技术性细节。  实现：通过编程实践，测试自己对算法的理解。  布道：把知识讲给别人听。 Lecture Outline  概率复习  Bayesian Nets （剧透：会出现动态规划）  Applications:  Naïve Bays  Markov Chain （剧透：会出现矩阵的特征值）  Hidden Markov Model  Restricted Boltzmann machine （不讲） 概率复习  3 Axioms  0 ≤() ≤ 1  = 1 ; = 0  + − = ( ) 概率复习 ( )  ≝ () 概率复习  , =  ,, = 概率复习  独立  = ⊥ Lecture Outline  概率复习  Bayesian Nets （剧透：会出现动态规划）  Applications:  Naïve Bays  Markov Chain （剧透：会出现矩阵的特征值）  Hidden Markov Model 概率图模型：动机  维度灾难问题 d  d binary variables, 2 -1 terms!  终极目标：如何对一个联合概率分布有效表 示。  因为知道了联合分布，就知道了所有信息。 维度灾难举例：3个变量的联合分布 Directed Graphical Models  有向无环图  关键结论： ς  p , ,.. = |( ) 1 2  x is independent with its non-decendents given its parents. 给定某变量的父节点，该变量 和非后代变量条件独立。 ς  p , ,.. = |( ) 1 2 Another Example 给一个概率图，要立刻写出联合分布 原始联合分布vs 分解(factorized)分布 利用概率图进行推断（inference）  Given the graph, what is p(s=1) ? Brute Force approach Brute Force approach B