信息论基础 练习与思考2.pptVIP

第三章 信道容量 2020/3/22 1 子曰：“不愤不启，不 悱不发，举一隅不以三隅 反，则不复也” －孔子 第三章 信道容量 2020/3/22 2 ? 信道容量 C ： 在信道中最大的信息传输速率，单位 是 比特 / 信道符号 。 ? 单位时间的信道容量 C t ： 若信道平均传输一个符号 需要 t 秒钟，则单位时间的信道容量为 C t 实际是信道的最大信息传输速率。 第三章总结 第三章 信道容量 2020/3/22 3 ? 求信道容量的方法 ? 当信道特性 p ( y j / x i ) 固定后， I ( X ; Y ) 随信源概率分布 p ( x i ) 的变化而变化。 ? 调整 p ( x i ) ，在接收端就能获得不同的信息量。由平均互 信息的性质已知， I ( X ; Y ) 是 p ( x i ) 的上凸函数，因此总能 找到一种概率分布 p ( x i ) （即某一种信源），使信道所能 传送的信息率为最大。 ? C 和 C t 都是求平均互信息 I ( X ; Y ) 的条件极大值问题，当 输入信源概率分布 p ( x i ) 调整好以后， C 和 C t 已与 p ( x i ) 无关，而仅仅是信道转移概率的函数，只与信道统计特性 有关； ? 信道容量是完全 描述信道特性 的参量； ? 信道容量是信道 能够传送的最大信息量 。 第三章 信道容量 2020/3/22 4 ? 香农公式说明 ? 当信道容量一定时，增大信道带宽，可以降低对信噪功率比 的要求；反之，当信道频带较窄时，可以通过提高信噪功率 比来补偿。 ? 当信道频带无限时，其信道容量与信号功率成正比。 第三章 信道容量 2020/3/22 5 ? 香农公式 ? 限频带 (W) 、限时 (T) 条件下的信源通过一个限功率 (P N ) 的白色 高斯信道，其信道容量为 它指出了信号间各物理量参量之间的辨证关系，它为一些不 同的通信体制提供了基本原理。 ? 用频带换取信噪比，它是现代扩频通信的基本原理 ? 其目的是为了提高通信系统的可靠性。如果在通信中信噪比成为主 要矛盾时，而信号带宽有富余，往往就可以采用带宽换取信噪比的 办法提高通信的可靠性。现代移动通信中常采用伪码直接扩频，跳 频编码等扩展频谱手段，提高可靠性等。 ? 用信噪比换频带，它是多进制多电平多维星座调制通信方式的 基本原理 ? 在优质信道中，信噪比有富余，而使用的频带进展，这时可用信噪 比换频带。比如在光缆信道，卫星和微波接力等较优质信道中，常 常采用的多进制、多电平、多维星座调制就是基于这一原理。 第三章 信道容量 2020/3/22 6 ? 香农公式 ? 用时间换取信噪比，它是弱信号累积接收的基本原理 ? 在深空通信中，往往利用这一原理传送信息。它是利用信号与干扰 统计特性上的差异来实现的。比如，在深空通信中，噪声很强，它 可以远远高于信号强度。但是由于信号是规则的，它可以按时间积 累线性增长，然而，噪声是随机的，其增长速率远低于信号的线性 增长，随着时间的积累，信号由弱变强，而噪声由强变弱，从而可 以提高信噪比实现弱信号的累积接收。 ? 用时间换取频带 ? 在一些特殊需要的情况下，比如可以采用频带很窄的电话线路，传 送准活动的图像。 第三章 信道容量 2020/3/22 7 ? 信道编码定理： 若有一离散无记忆平稳信道，其容 量为 C ，输入序列长度为 L ，只要待传送的信息率 R C ，总可以找到一种编码，当 L 足够长时，译码 差错概率 P e ε ， ε 为任意大于零的正数。反之，当 R C 时，任何编码的 P e 必大于零，当 L →∞ ， P e →1 。 ? 信道编码定理说明： 同无失真信源编码定理类似， 信道编码定理也是一个理想编码的存在性定理。它 指出信道容量是一个临界值，只要信息传输率不超 过这个临界值，信道就可几乎无失真地把信息传送 过去，否则就会产生失真。 第三章 信道容量 2020/3/22 8 习题 1 3.1. 设信源 通过一干扰信道，接收符号为 Y=[y 1 ,y 2 ], 信道传递概率如 下图所示。求 ①信源 X 中事件 x 1 和 x 2 分别含有的信息量。 ②收到消息 y j (j=1,2) 后，获得的关于 x i (i=1,2) 的信息 量。 ③信源 X 和信源 Y 的信息熵。 ④信道疑义度 H(X/Y) 和噪声熵 H(Y/X) 。 ⑤接收到消息 Y 后获得的平均互信息。 x 1 5/6 1/4 1/6 3/4 y 1 y 2 x 2 1 2 ( ) 0.6 0.4 X x x P x ? ? ? ? ? ? ? ? ? ? ? ? ? 第三章 信道容量 2020/3/22 9 习题 1 解答： 1 2