信息论复习题1.docVIP

第二章 信息的度量 1、居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 2、设离散无记忆信源，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 3、某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵； (2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 4.已知随机变量X、Y的联合概率分布如表1所示，求联合熵H(XY)，自信息的熵H(X)、H(Y)，条件熵H(Y|X)、H(X|Y)，互信息I(X; Y)。 表1 X, Y的联合概率分布 Y=0Y=1X=01/41/2X=101/4 5、有两个二元随机变量X和Y，它们的联合概率为 Y Xx1=0x2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。 6、有两个随机变量X和Y，其和为Z = X + Y（一般加法），若X和Y相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)。 第三章 信源及信源熵 1、设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞； (3) 试计算H(X4)并写出X4信源中可能有的所有符号。 2、某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵； (2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 5、一马氏链的转移概率矩阵如下，问此马氏链是否具有遍历性并求平稳分布和的值。 6、有一阶平稳马氏源X，符号集{0，1，2}，其中符号转移概率为： ； 求此马氏源的平稳分布； 求此马氏源的熵； 求平稳马氏源的二次扩展源的所有符号概率； 试求：1.该马氏链的二步转移概率矩阵； 2.求平稳分布。 第四章 信道及信道容量 设二元信道的概率转移矩阵为：。 求该信道的容量及其达到容量时的输入概率分布。 将该信道进行两级级联，求级联信道的容量及其达到容量时的输入概率分布。 2、一信道的转移概率矩阵为 求信道容量和达到容量时的输入概率。 3、有一个二元对称信道，其信道矩阵为。 （1）求信道容量。 （2）设该信源以1500二元符号/秒的速度输入信源符号，现有一消息序列共有14000个二元符号，并设P(0)=P(1)=1/2,问从消息传输的角度来考虑，10秒钟内是否能将这消息序列无失真的传递完？ 第五章 无失真信源编码 1、某离散无记忆信源S的符号集A={a1,a2,…,a7}，各符号的概率分别为：1/3,1/3,1/9,1/9,1/27,1/27,1/27； 1)对该信源符号进行二元Huffman编码并计算平均码长；（要求：写出编码过程、列出信源符号和码字的对应表）； 2）对该信源符号进行三元Huffman编码并计算平均码长；（要求：写出编码过程、列出信源符号和码字的对应表）； 2.某离散无记忆信源有7个信源符号，所对应的概率分别为：0.4，0.2，0.1，0.1，0.1，0.05，0.05，码符号集为{0，1，2}。 求信源的熵及信源剩余度； 对其进行三元Huffman编码； 求平均码长、编码效率。 　 3、设信源S的信源空间为 符号集U:{0,1,2},试编出三元Haffman码,并计算其平均码长. 第六章 有噪信道编码 2、某信源含有四个消息，概率分别为：1/2，1/4，1/8，1/8，编成二元码为C={000，011，101，110}，各码字通过一个单符号错误概率为P（P0.01）的二元对称信道进行传输。