第四章离散信道容量选读.pptVIP

练习题：有噪声的打字机信道 考虑有26个键的打字机 1）如果每敲击一个键，它就准确输出成相应的字符，那么该容量C为多少？ 2）如果假设敲击一个键都会导致输出该键对应的字母或者下一个字母等概论出现，即敲A可能输出A或者B，┄敲Z可能输出Z或者A，那么此时的容量如何？ * 复习数学知识 * 4.2.3离散信道容量的一般计算法 信道容量的求解为一个多元函数求约束极值的问题。 信道转移矩阵为 例：求信道输入最佳分布和信道容量C。 　　解 观察信道转移矩阵可知，该信道不是对称的，信道的输入、 输出符号数量都为2，假设信道输入符号的概率分别为p，1－p，可以得到平均互信息量。 　　根据假设的信道输入的概率分布，求出信道输出概率分布p(bj)： 　　　　　p(b1)=0.9p+0.2(1－p)=0.2 + 0.7p 　　　　　p(b2)=0.1p+0.8(1－p)=0.8－0.7p * 4.2.3离散信道容量的一般计算法 输入、 输出之间的平均互信息量为： 将相关参数代入上述计算公式，得到： * 4.2.3离散信道容量的一般计算法 对I(X;Y)求导，得到最佳分布 得到，p=0.532，所以信道容量为 　　　　　　C=maxI(X;Y)=0.415 比特/符号 从该例可以看出，即使是简单的非对称二元信道，其最佳分布的求解也十分复杂，所以一般离散信道的信道容量的求解通过计算机进行。