GraphicalModel-Anintroductiontographicalmodels.PDFVIP

An introduction to graphical models 朱威達 1. 介紹 Graphical model 是機率理論(probability theory)與圖形理論(graph theory)的結 合，他們提供處理不確定性(uncertainty)與複雜度(complexity)的工具，在工程問 題中扮演重要的角色。Graphical model 的基本概念在於一個複雜的系統可由較簡 單的零件組成。機率理論讓我們可描述這些零件的數學/相依特性，而圖形理論 則讓我們以直覺的方式指定零件之間的關係。 以下從幾個觀點來說明 graphical model： (1) 表現(representation)：一 個 graphical model 如何簡潔地表現一個聯合機率 分佈(joint probability distribution)？ (2) 推論(inference)：如何在給定一些觀察之後推論出系統中未知部份的狀 態？ (3) 學習(learning)：如何推斷系統的結構(structure)與參數(parameter)？ (4) 決定理論(decision theory)：如何根據 graphical model 推論出來的結果做 出行動？ (5) 應用(application)：graphical model 可用於那些應用？ 2. 表現 (representation) N 若我們有N個binary random variables，要描述P(X1, X2, …, XN)需要O(2 )個參 數。Graphical model可大幅減低所需的參數數量，讓推論與學習變得有效率。 有兩種 graphical model：directed and undirected graphical model。Directed graphical model 又稱為 Bayesian network (BN)、belief network、generative model、 causal model 等。Undirected graphical model 又稱為 Markov network 或 Markov random field (MRF)。 2.1 Directed graphical model 在 directed graphical model 中，有個箭頭從 node A 到 node B 代表 A“造成＂ (cause) B。舉例言之，如圖一所示，“草地是濕的(grass is wet)＂的原因可能有 兩個：灑水器打開(S=true)或下雨(R=true)。它們之間的關係可用一個條件機率表 (conditional probability table, CPT) 來描述。比如說，我們可以看到 P(W=true|S=true,R=true) = 0.9。 從此圖中我們也可看到某些事情之間是獨立的：在給定 parent 的情況下，某 個 node 與其他 ancestor 無關。此稱為 conditional independent relationship，而 Bayesian network 很適合用於描述這樣的關係。現在我們來看此圖的 joint probability distribution (JPD)。根據 chain rule，它可重新寫成： 圖一、Bayesian network 的例子 PCSRW()(),,, =× PC PSC() × PRCS( ,) × PWCSR( ,,) 根據 conditional independent relationship，它可改成： PCSRW()(),,, =× PC PSC()