第三章总结与习题(田有亮).ppt

第三章总结 信道容量 C：在信道中最大的信息传输速率，单位是比特/信道符号。 单位时间的信道容量 Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为 Ct 实际是信道的最大信息传输速率。 求信道容量的方法 当信道特性 p(yj /xi) 固定后，I(X;Y) 随信源概率分布 p(xi) 的变化而变化。 调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能找到一种概率分布 p(xi)（即某一种信源），使信道所能传送的信息率为最大。 C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。 香农公式说明 当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。 当信道频带无限时，其信道容量与信号功率成正比。 信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 RC，总可以找到一种编码，当 L 足够长时，译码差错概率Peε，ε为任意大于零的正数。反之，当 RC时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。 信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。 习题1 3.1.设信源 通过一干扰信道，接收符号为Y=[y1,y2],信道传递概率如下图所示。求 ①信源X中事件x1和x2分别含有的信息量。 ②收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量。 ③信源X和信源Y的信息熵。 ④信道疑义度H(X/Y)和噪声熵H(Y/X)。 ⑤接收到消息Y后获得的平均互信息。 习题1 习题1 习题2 3.2.设二元对称信道的传递概率为 ①若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。 ②求该信道的信道容量及达到信道容量时的输入概率分布。 习题2 习题2 习题3 习题3 解： 第三章 信道容量 * 解答： 互信息可以为正值也可以为负值，负值表明由于噪声的存在，接收到一个消息后，对另一个消息是否出现的不确定性反而增加了。 解答： 3.3 设有一批电阻，按阻值分70%是，30%是；按瓦分64%是1/8W，其余是1/4W。现已知阻值的电阻中80%是1/8W。问通过测量阻值可以得到的关于瓦数的平均信息量是多少？ 解：设随机变量X表示电阻的瓦数，Y表示电阻的阻值，则其概率分布为 已知 ，由概率的归一性： 由 ，得 . 3) * * * *