《信息论与编码》复习.pdfVIP

《信息论与编码》复习 夏 平 三峡大学计算机与信息学院通信工程系 例：同时掷两个正常的骰子，也就是各面呈现的 概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2) “两个1同时出现”事件的自信息量； (3) 两个点数的各种组合（无序对）的熵或平 均信息量； (4) 两个点数之和(即 2，3，…，12构成的 子集）的熵； (5) 两个点数中至少有一个是1的自信息。 （1） P （3、5或5、3）＝P （3、5）+P （5、3）＝1/18 I ＝log2 （18）＝4.1699bit。 （2） P （1、1）＝l/36。I＝log2 （36）＝5.1699bit。 （3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。 不同点出现时有15种，概率1/18。 H （i，j ）＝6*1/36*log2 （36）+15*1/18*log2 （18）＝4.3366bit/事件。 （4） i+j 2 3 4 5 6 7 8 9 10 11 12 P(i+j) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36) =3.2744bit/事件。 （5）P （1、1or1、j or i 、1）＝1/36+5/36+5/36＝11/36。 I ＝log2 （36/11）＝1.7105bit/ 事件 例：居住某地区的女孩中有25％是大学生，在女 大学生中有75％身高为1.6m以上，而女孩中身高 1.6m以上的占总数一半。假如得知“身高1.6m以 上的某女孩是大学生”的消息，问获得多少信息 量？、 P （女大学生）＝1/4； P （身高1.6m / 女大学生）=3/4； P （身高1.6m）＝1/2； P （女大学生/ 身高1.6m）＝P （身高1.6m、女 大学生）/P （身高1.6m ） ＝3/4*1/4*2＝3/8 I＝log2 （8/3）＝1.4150bit。 例：一阶马尔可夫信源的状态如图所示，信源X 的符号集为{0,1,2}。 （1）求平稳后的信源的概率分布； （2）求信源熵H  p p p 0 1 p p 2 p （1）由状态转移图可得状态一步转移矩阵 p 0 p   P p p 0  0 p p    由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。 由W p W 和pij 1可得方程组 i ij j i j W pW  pW  1 1 2  W pW  pW  2 2 3  W pW  pW  3 1 3  W  W  W 1  1 2 3