信息论复习纲领(word文档良心出品).docxVIP

XY XY 第二章知识要点: 1 ?自信息量： 设事件Xi的概率为p(Xi),那么，他的自信息定义为l(x i) =-log p(Xi) 上定义式取对数的底为2,信息量的单位为比特(bit);上定义式取对数的底为e, 信息量的单位为奈特 (n at);上定义式取对数的底为10,信息量的单位为哈脱 来(haitely---hat)。 2 ?互信息量: I(Xi； yj) =log P(X I yj) P(X) 1 1 =log log - P(X) p(Xi | yj) 3?平均自信息量(熵) q H(X)二 E[l(Xi)] =E[ — log p(Xi)]為 p(x)log p(x) i 二 3.熵函数： P1 , P2，… P1 , P2，…，Pq的函数, 所以熵函数 H(X)又可记为 q H ( p)二 H ( P1, P2,..., Pq)二- Pi log Pi i =1 4?条件熵: H(Y|X)八 p(xy)I(y|x) XY S P(xy)log P(y |x) XY 5 ?联合熵 H(X,Y)八 p(x^yj)I(x^yj) XY 「八 p(xyj)log p(^yj) XY 6.平均互信息量 l(X;Y)八 p(yj)I(X;yj) Y 八 p(W)log XY P(Xi | yj) P(Xi) =送 pXyj)I(x;yj) 7. 名称 符号 关系 图示 信息熵 H(X) H(X)= H(X| Y) + I(X ;Y) H(X|Y) H(X) = H(X, Y)-H(Y|X) H(Y) H(Y)= H(Y|X)+ I(X;Y) H(Y|X) H(Y)= H(X,丫)一 H(X|Y) 条件熵 H(X|Y) H(X |Y)= H(X,丫)- H(Y) 二 H(X)- I(X;Y) D H(Y|X) H(Y|X)= H(X,Y)- H(X) -H(Y)_ l(X;Y) o 联合熵 H(X,Y)=H(Y,X) H (X ,Y) = H (X ) + H (Y | X ) =H (Y )十 H (X | Y) =H (X )十 H (Y ) — 1 (X ;Y ) =H (X | Y ) + H (Y | X ) + 1 (X ; Y ) 互信息量 l(X;Y)=l(Y;X) l(X;Y) = H(X)-H(X| Y) = H(Y)-H(Y|X) = H(X, Y)-H(Y |X)-H(X| Y) = H(X) + H(丫)-H(X,Y) qdI 2.9如有6行8列的棋型方格，若有2个质点A和B,分别以等概率落入任一方格内， 且它们的 坐标分别为(Xa，YA)、(Xb, Yb),但A，B不能落入同一方格内。试求： 若仅有质点A,求A落入任一个方格的平均自信息量是多少 ⑵若已知A已人，求B落人的平均自信息量。 148(3)若A, B是可分辨的，求 A , B同时落人的平均自信息量 解：1)A 1 48 p(a) 平均自信息量为: 48 i H(A)=\ p(ajlog - log 48 = 5.58(bit) y P(aJ (2)A落入后, B再落入的概率: P(bj)= 1 47 1P(b 1 P(bj) = log47 =5.55(bit) 47 H(B)八 p(bj)log j 4 (3)A, B同时落入的联合熵: p(aq) p(aq)二 i 48 47 48 47 - H(A,B)：工二 p(aibj)log - log(47 48) =11.14(bit) yjm p(aibj) 2.11掷两粒骰子，当其向上的面的点数之和是 3时，该消息所包含的信息量是多 少裆小圆点数之和是7时，该消息所包含的信息量又是多少 ？ 解：(1)两粒骰子向上面的小圆点数之和为3时有(1, 2)和(2, 1)两种可能性，总的 组合数为 1 1 C6 C6 - 36 则：原点数之和为3的概率为: P⑶二 P⑶二 36 丄 18 故包含的信息量为: I(3^-log^-log11^=4.17(bit) (2)小圆点数之和为7的情况有(1，6)(6，1)(2，5)(5 . 2)(3，4)(4，3)，则圆点数之和为 7出现 的概率为： P⑺二— 36 1 故：包含的信息量为 I (7) 口「log p(7) =「log 2.585(bit) 6 2.13己知信源发出al和a2两种消息，且P(a1)=P(a2)=1/ 2。此消息在二进制对称信道上传输, 信道传输特性为P(b1 1耳)=P(b2 1去)=1 一 p(b1 1去)=p(b2 1 a1)=；，求互信息量 g;bi）和 I（a 2；b2） 解：：因为是二元对称信道，根据信源概率分布： P（ai）=卩伍2）=1/2 信道传输概率： P（bi 旧）=P（b2 心2）=1 - ；,