信息论习题-4.docVIP

第4章 信道容量 4.1 设信源通过一干扰信道，接收符号为Y y1, y2 ，信道转移矩阵为，求： 1 信源X中事件x1和事件x2分别包含的自信息量； 2 收到消息yj j 1,2 后，获得的关于xi i 1,2 的信息量； 3 信源X和信宿Y的信息熵； 4 信道疑义度H X/Y 和噪声熵H Y/X ； 5 接收到信息Y后获得的平均互信息量。 解： 1 2 3 4 ?5 4.19 设有一批电阻，按阻值分70%是2KΩ，30%是5 KΩ；按瓦分64%是0.125W，其余是0.25W。现已知2 KΩ阻值的电阻中80%是0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？ 解： 对本题建立数学模型如下： 以下是求解过程： 4.20 设二元对称信道的传递矩阵为 1 若P 0 3/4, P 1 1/4，求H X , H X/Y , H Y/X 和I X;Y ； 2 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1 2 4.37 有一个二元对称信道，其信道矩阵为。设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P 0 P 1 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？ 解： 信道容量计算如下： 也就是说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是： 现在需要传送的符号序列有140000个二元符号，并设P 0 P 1 1/2，可以计算出这个符号序列的信息量是 要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力（1288 bit/s）。所以10秒内不能将消息序列无失真的传递完。 随堂练习： 求下列各离散信道的容量（其条件概率P Y/X 如下：） 1 一般信道 2 准对称信道 3 非对称信道 4 准对称信道 解： （1 利用一般信道的计算方法： a. 由公式，求βj b. 由公式，求C c. 由公式，求p yj d. 由公式，求p xi 由方程组： 解得 因为s是条件转移概率，所以0 ≤ s ≤ 1，从而有p x1 ，p x2 ≥ 0，保证了C的存在。 2 准对称信道，把信道矩阵分解成两个子矩阵如下： 3 非对称信道 这个信道是个一般信道，利用一般信道的计算方法 a. 由公式，求βj b. 由公式，求C c. 由公式，求p yj d. 由公式，求p xi 由方程组： 解得 p x1 ，p x2 ≥ 0，保证了C的存在。 4 准对称信道 把信道矩阵分解成三个子矩阵如下：