03-贝叶斯学习素材.ppt

If a local semantics in form of the independeny statements is given, i.e. I(X, Nondescendants(X)|Parents(X)) for each node X of the network, then the global semantics results: P (X1 … Xn) = ?ni=1 P (Xi|Parents(Xi)),and vice versa. For proving local semantics ? global semantics, we assume an ordering of the variables that makes sure that parents appear earlier in the ordering: Xi is parent of Xj then Xi Xj Global and local semantics 第三章 贝叶斯学习方法 3.1 极大似然估计 3.2 贝叶斯学习 3.2.1 贝叶斯决策 3.2.2 贝叶斯估计与预测 3.3 朴素贝叶斯方法 3.4 贝叶斯网络 P(X1, …, Xn) = ?ni=1 P (Xi|X1, …, Xi ?1) chain rule Parents(Xi) ? {X1, …, Xi ?1} P(Xi|X1, …, Xi ?1) = P (Xi|Parents(Xi), Rest) local semantics: I(X, Nondescendants(X)|Parents(X)) The elements of Rest are nondescendants of Xi, hence we can skip Rest Hence, P(X1 … Xn) = ?ni=1 P (Xi|Parents(Xi)), Global and local semantics 第三章 贝叶斯学习方法 3.1 极大似然估计 3.2 贝叶斯学习 3.2.1 贝叶斯决策 3.2.2 贝叶斯估计与预测 3.3 朴素贝叶斯方法 3.4 贝叶斯网络 Global and local semantics 第三章 贝叶斯学习方法 3.1 极大似然估计 3.2 贝叶斯学习 3.2.1 贝叶斯决策 3.2.2 贝叶斯估计与预测 3.3 朴素贝叶斯方法 3.4 贝叶斯网络 Assume: Then Bayes’s rule Chain rule By assumption Bayes’s rule Global and local semantics 第三章 贝叶斯学习方法 3.1 极大似然估计 3.2 贝叶斯学习 3.2.1 贝叶斯决策 3.2.2 贝叶斯估计与预测 3.3 朴素贝叶斯方法 3.4 贝叶斯网络 Let I(X,Z|Y) represent X and Z being conditionally independent given Y. Yes, just as in previous example: All X’s parents given, and Z is not a descendant. I(X,Z|Y) ? z U X V I (X,Z|U) ? I (X,Z|U,V) ? Global and local semantics 第三章 贝叶斯学习方法 3.1 极大似然估计 3.2 贝叶斯学习 3.2.1 贝叶斯决策 3.2.2 贝叶斯估计与预测 3.3 朴素贝叶斯方法 3.4 贝叶斯网络 ? X has no parents, so we’re know all its parents’ values trivially ? Z is not a descendant of X ? What if we do know the value of Y, though? Or one of its descendants? Global and local semantics 第三章 贝叶斯学习方法 3.1 极大似然估计 3.2 贝叶斯学习 3.2.1 贝叶斯决策 3.2.2 贝叶斯估计与预测 3.3 朴素贝叶斯方法 3.4 贝叶斯网络 Choose an ordering of variables X1, …, Xn For i = 1 to nadd Xi to the networkselect parents from X1, …, Xi ?1 such that  p(Xi|Parents(Xi)) = p(Xi|X1, …, Xi ?1)