信息论与编码理论基础(第四章)..ppt

* * 习题课 4.1 计算由下述转移概率矩阵给定的DMC的容量。 * * 习题课 该信道为对称DMC，达到信道容量的最佳输入分布是等概分布，对应的输出分布也是等概分布，信道容量C是由转移矩阵任何一行所计算出来的“半平均互信息量”： * * 该信道为对称DMC，达到信道容量的最佳输入分布是等概分布，对应的输出分布也是等概分布，信道容量C是由转移矩阵任何一行所计算出来的“半平均互信息量”： * * 该信道为和信道，和信道的输入事件为{0，1，m}，和信道的输出事件也为{0，1，m}。其中两个分信道分别如下： * * 习题课 * * 习题课 4.3 求图P.4.3中DMC的容量及最佳输入分布。 * * 习题课 * * 习题课 (a) 困难： （1） 本题中的DMC不是准对称信道，不能用简单的方法计算信道容量与最佳输入分布。 （2）如果采用一般信道容量与最佳输入分布的计算方法 （见p112） ，本题的计算量比较大，并且所求出的“最佳输入分布”中有的概率是负值。 技巧：观察与猜测。设最佳输入分布为{q(0), q(1), q(2)}。我们猜想q(0)=q(2)=1/2，q(1)=0，因此应有以下的等式不等式： I(X=0; Y)=I(X=2; Y)≥I(X=1; Y)。 如果经过验证，以上的等式不等式确实成立，则我们的猜想是正确的，而且此时信道容量为C= I(X=0; Y)=I(X=2; Y)。 * * 习题课 验证过程：首先求出对应的最佳输出分布为{w(0), w(1), w(2)}。根据全概率公式， * * 习题课 其次验证等式不等式“I(X=0; Y)=I(X=2; Y)≥I(X=1; Y)”是否成立。 * * 习题课 等式不等式“I(X=0; Y)=I(X=2; Y)≥I(X=1; Y)”成立。因此 {q(0), q(1), q(2)}= {1/2, 0,1/2} 确实是最佳输入分布。 此时信道容量为 C= I(X=0; Y)=I(X=2; Y)=3/4 * * 习题课 问题一：凭什么猜想q(0)=q(2)？ 答 转移概率矩阵的形状具有某种对称性，似乎应该有 q(0)=q(2)。 因此 I(X=0; Y)=I(X=2; Y)。 问题二：凭什么猜想q(1)=0？ 答 理由1：转移概率矩阵的中间行为（1/3, 1/3, 1/3）。这说明，当输入值为1时，输出值取0、1、2是等概的。换句话说，当输入值为1时，得不到输出值的消息。因此，q(1)似乎应该很小。 理由2：已知I(X=0; Y)=I(X=2; Y)。如果假设q(1)=0，只需要验证“I(X=0; Y)≥I(X=1; Y)”；而如果假设q(1)0，则需要验证“I(X=0; Y)=I(X=1; Y)”。前者更容易验证。 问题三：为什么不猜想“最佳输入分布”中的两个概率等于0？ 答 如果“最佳输入分布”中的两个概率等于0，则第三个概率等于1。此时输入随机变量X实际上是一个常数，其平均自信息量（熵）等于0。因此0≤I(X;Y)≤H(X)=0，即“信道容量”为C=I(X;Y)=0，矛盾。 * * (b) 这是准对称信道。因此最佳输入分布为 {q(0), q(1), q(2)}= {1/3, 1/3,1/3}， 对应的最佳输出分布为 * * 习题课 此时信道容量为 * * 习题课 4.8 一PCM语音通信系统，若信号带宽为W=4000Hz，采样频率为2W，且采用8级幅度量化，各级出现的概率为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128。试求所需的信息速率(bits/s)。 （这是什么类型的习题？似乎与信道及信道容量没有关系） [4.8的解答] 每次采样获得的信息量，是随机变量的平均自信息量（熵），为 (1/2)×log2+(1/4)×log4+(1/8)×log8+(1/16)×log16 +(1/32)×log32+(1/64)×log64+(1/128)×log128+(1/128)×log128 = (1/2)+(2/4)+(3/8)+(4/16)+(5/32)+(6/64)+(7/128)+(7/128) =127/64(bits)。 信息速率为127/64(bits)×8000=15875(bits/s)。 * * 习题课 4.12 若要以R=105 bit/s的速率通过一个带宽为8kHz、信噪比为31的连续信道传送，可否实现? [4.12的解答] 连续信道的带宽为8kHz，说明该连续信道可以通过采样频率不超过16kHz的采样，变成一个“时间离散的无记忆连续信道”。 进一步简化：我们把该“时间离散的无记忆连续信道”看作是一个“高斯可加噪声信道”(p126)。 因此，在每次采样中传送的信息量为(1/2)log(1+ 31)