离散信源及其信息测度课件.pptxVIP

離散信源及其資訊測度;第一節信源的數學模型及分類;第一節信源的數學模型及分類;第一節信源的數學模型及分類;第二節離散信源的資訊熵;第二節離散信源的資訊熵;第二節離散信源的資訊熵;第二節離散信源的資訊熵;第二節離散信源的資訊熵;例：天氣預報，有兩個信源

;第三節資訊熵的基本性質;第三節資訊熵的基本性質;第三節資訊熵的基本性質;第三節資訊熵的基本性質;第三節資訊熵的基本性質;第四節離散無記憶的擴展信源;第四節離散無記憶的擴展信源;第四節離散無記憶的擴展信源;例:離散無記憶信源的N次擴展信源

離散無記憶信源為：X:{a1,a2,a3};P(X):{1/4,1/2,1/4};第四節離散無記憶的擴展信源;第五節離散平穩信源;第五節離散平穩信源;第五節離散平穩信源;第五節離散平穩信源;第五節離散平穩信源;第五節離散平穩信源;[例2-15]設某二維離散信源的原始信源的信源空間

X={x1,x2,x3};P(X)={1/4,1/4,1/2},一維條件概率為：

p(x1/x1)=1/2;p(x2/x1)=1/2;p(x3/x1)=0;

p(x1/x2)=1/8;p(x2/x2)=3/4;p(x3/x2)=1/8;

p(x1/x3)=0;p(x2/x3)=1/4;p(x3/x3)=3/4;

原始信源的熵為：H(X)=1.5bit/符號

條件熵：H(X2/X1)=1.4bit/符號

可見：H(X2/X1)H(X)

二維信源的熵：H(X1,X2)=H(X1)+H(X2/X1)=2.9bit/消息

每個信源符號提供的平均資訊量為：

H2(X1,X2)=H(X1,X2)/2=1.45bit/符號。;第五節離散平穩信源;第五節離散平穩信源;第五節離散平穩信源;第六節馬爾可夫信源;第六節馬爾可夫信源;第六節馬爾可夫信源;;;第六節馬爾可夫信源;舉例;將圖中信源在ei狀態下發符號xk的條件概率p(xk/ei)用矩陣表示

由矩陣看出：

由圖中看出：

由圖中可得狀態的一步轉移概率：

該信源滿足馬爾可夫信源定義。;第六節馬爾可夫信源;第六節馬爾可夫信源;(3)舉例;由二元信源X∈{0,1}得到的狀態空間(e1,e2,e3,e4)和相應的一步轉移概率構成的2階馬爾可夫信源模型為

求出穩定狀態下的p(ej)，稱為狀態極限概率。

將一步轉移概率代入上式得

p(e1)=0.8p(e1)+0.5p(e3)

p(e2)=0.2p(e1)+0.5p(e3)

p(e3)=0.5p(e2)+0.2p(e4)

p(e4)=0.5p(e2)+0.8p(e4);解方程組得

p(e1)=p(e4)=5/14

p(e2)=p(e3)=2/14

計算極限熵

;第六節馬爾可夫信源;第六節馬爾可夫信源;第六節馬爾可夫信源;第六節馬爾可夫信源;第六節馬爾可夫信源;;第七節信源剩餘度與自然語言的熵;