信息论解答证明.docVIP

2.证明：对无记忆信源{Xk，k≥1}有-1/n logp(X^n)以概率收敛到H（X） 证：由信源的无记忆性知 所以相互独立同分布，也是相互独立同分布，由弱大数定理，上式的右边以概率收敛到数学期望 3. 6：设信源发出的信号序列为000010110011100001011001110001111. 用LZ算法对其进行编码； 用LZW算法对其进行编码； 设X，失真测度为d(0,0)=d(1,1)=0,d(1,0)=1,d(0,1)=∞，求率失真函数 3.设随机变量X,Y,Z均取值于,已知求证 1、设D(p||q)是概率分布对（p，q）的凸函数，即如果（）和（）是两对概率分布，则有 证明 ：首先对左式展开式中的任一项用对数和不等式 然后两边对取和即证毕. 4.设为二值平稳马氏信源，其一步转移概率如下： 求该信源的平稳分布 求该信源的熵. 5.设信源发出的消息符号列为 Ho [w_Much_wood_woul] d_A_wood_chunck… 其中_表示空格，通常从数据中段开始描述该方法较清楚。 用[]表示可利用信息的窗口，这可以用移位寄存器实现。这里设窗口长n=16，并假设图中[]内利用其左边的字符已被压缩编码，现在编码器对当前位置的字符d及以后的字符进行编码。 第一步，从当前位置往回在n长的窗口中搜索，找到曾出现过d的位置（此外只有往左第6位出现过d），记下这个长度（这里） 第二步，找到与d及后续字符相匹配（即相同的字符串）的最长的字符串（这里是d_），记下这个长度L（这里L=2）。 再用一个符号表示找到匹配和未找到匹配，然后预处理器记为（匹配符号L，）如果1表示找到匹配，0表示未找到匹配，于是预处理器对d_记为（1,2,6）。 第三步，将当前位置右移L位（这里右移2位），对新的当前位置上的字符A重复上述过程，但此时在A左边窗口中找不到匹配，于是预处理器把A记成（无匹配符号，当前位置符号）=（0，A）。 第四步，继续上述过程，此时找到三个位置上有_但在左边第13位开始的匹配_word长度最长，按上述原则记为（1,5,13）。 6设信源X有以下概率分布 对X分别编一个二进或三进哈夫曼码； 计算信源的二进熵和三进熵； 以上两种编码哪种更好些？说明理由。 7.计算以下信道的容量（此信道不是二进对称信道） 8.如果和均是达到的条件概率分布，则 也能达到 10.计算有以下分布密度的三角分布的可微熵 设信源X={1,2，…，m}，失真测度矩阵 d = ( 的每一列都是以下集合 ( )的置换，定义 (D) = ，其中 p = { } 是一个概率分布，H(p) 是该分布的熵。 (a) 证明： 是D 的凹函数； (b) 证明：如果Ed(X，) D，则 I(X；) H(X)—； (c) 证明：R(D) H(X)—； 答案：(a) 设为达到之分布，即 = ；= H() (1) 设为达到之分布，即 = ； (2) 考察= +(1—)，则= +(1—) 于是H()= H() 其中(i)是之定义，(ii)是H(p)是p的凹函数，(iii)用到(1)(2)式，从而是D的凹函数。 (b)假设满足= = D，且I(X；) = ，则： = I(X；) = H(X)—| ) 由定义H(X |) ，其中= | = )，所以 R(D) H(X)— 其中 D =Ed()，这时对应之I(X；)= H(X)—。 已知6符号离散信源的出现概率为，试计算它的熵、Huffman编码码字、平均码长及编码效率。 居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 求下图所示的信道的容量及达到信道容量时的输入分布。 已知的联合概率为： 求，，， 设一个信源变量X服从以下概率分布 求其二进制熵，三进制熵。 一个信源有以下概率分布 计算信源熵和平均码字长及冗余度 二元对称信道如图 1）若，求和； 2）求该信道的信道容量和最佳输入分布。 1.解：该离散信源的熵为 =1.933 bit/符号 Huffman编码为： 平均码长 编码效率为 2. 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 I(A|B)=-log0.375=1.42bit 3. 由图可知，该信道的转移概率矩阵为 可以看到，