第4章 离散信道及其容量.docVIP

4.1 设有一离散无记忆信源，其概率空间为 它们通过一干扰信道，信道输出端的接收符号集为Y = { y1, y2 }，信道转移概率如题图4.1所示。求： (1) 信源X中事件x1和事件x2分别含有的自信息； (2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息。 解： 信道转移矩阵为： 1) 2) 3) 4) 5) 4.2 设有扰离散信道的输入端是以等概率出现的A, B, C, D四个字母。该信道的正确转移概率为1/2，错误转移概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21 bit。 解： 该信道为强对称信道，并且信源符号等概率分布，因此平均互信息量达到信道容量。即信道上每个字母传输的平均信息量都达到最大，都等于信道容量。 4.5 考虑一二元删除信道 求。 解： 信道转移矩阵为： 该信道行可排列，列不可排列，是准对称信道。 4.19 设有一批电阻，按阻值分70%是2KΩ，30%是5 KΩ；按瓦分64%是0.125W，其余是0.25W。现已知2 KΩ阻值的电阻中80%是0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？ 解： 对本题建立数学模型如下： 求解过程如下： 4.20 设二元对称信道的传递矩阵为 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解：1) 2) 4.22 证明信道疑义度H(X/Y) = 0的充分条件是信道矩阵[P]中每列有一个且只有一个非零元素。而其他 4.26 设有扰离散信道的传输情况分别如题图4.3所示。试求出这种信道的信道容量。 解： 该信道的转移矩阵为： 行列都可排列，此信道为对称信道。 4.28 求下列各离散信道的容量（其条件概率P(Y/X)如下：） （1） （2） 解：1) 行可排列，列不可排列，此信道是准对称信道。 2) 行可排列，列不可排列，此信道是准对称信道。 比较： ，因为 4.29 设下述消息将通过一个二进制无记忆对称信道进行传送。，，，，这四种消息在发送端都是等概率分布的。试问，输入是和输出第一个数字是0的互信息是多少？如果知道第二个数字也是0，这时又带来多少附加的信息？ 解： 4.31 若有二个串接的离散信道，它们的信道矩阵都是 并设第一个信道的输入符号是等概率分布。求和，并加以比较。 解：(1) (2) (3) 比较 4.35 求题图4.4中信道的信道容量及其最佳的概率分布。并求当和0.5时的信道容量。 解： 该信道是一般信道。 (1) 求信道容量和最佳概率分布 (2) 当时 该信道为无噪无损信道。 (3) 当时 该信道为无噪无损信道。 4.36 求题图4.5中信道的信道容量及其最佳的概率分布。 解： (a) 该信道是行列都可排列的对称信道。 (b) 该信道是行列都可排列的对称信道。 4.37 有一个二元对称信道，其信道矩阵如题图4.6所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设p(0) = p(1) = 1/2，问从消息传输的角度来考虑，10s内能否将这消息序列无失真的传送完？ 解： 也就是说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是： 现在需要传送的符号序列有140000个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序列的信息量是 要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力（1288 bit/s）。所以10秒内不能将消息序列无失真的传递完。 4.38 把个二元对称信道串接起来，每个二元对称信道的错误传递概率为。证明这个串接信道可以等效一个二元对称信道，其错误传递概率为。并证明，设或1。信道的串接如题图4.7所示。 证明： 利用归纳法证明。个二元对称信道传接起来，每个二元对称信道的错误传递概率为，一般，而且组成马尔可夫链。所以，总的信道传递矩阵等于个二元对称信道传递矩阵的联乘。 第一步、特殊值。当时： 第二步、假设当时成立，即： 第三步、考察当时是否成立： 其中错误概率为： 所以命题成立。 当时 · 9 · 5/6 1/4 3/4 1/6