2009第1章-4-0929-信息论基础.pptVIP

信道容量?2/3 信道容量模型 假设r为通信系统发送能力（单位：符号/秒） I(X,Y)可理解为信道的信息平均传输速率（单位：比特/符号） 定义R为有扰信道的信息传输速率（单位：比特/秒） 信道容量定义：在信道条件一定的前提下，信道容量为最大的信息传输速率 信道容量?3/3 信道容量分析方法 平均互信息量 信道确定后， 就确定 求信道容量问题，转化为 求极值问题 思考：如果确定的信源，会引出什么问题？ 有扰离散信道的信道容量?1/4 有噪声信道和无噪声信道 P(xi)表示发送符号 xi 的概率，P(yi) 表示收到符号 yi 的概率，P(yi/ xi)是转移概率 有扰离散信道的信道容量?2/4 典型实例：无记忆二进制对称信道 有扰离散信道的信道容量?3/4 无记忆二进制对称信道的信道容量求解 研究型作业：推导出求有扰离散无记忆信道信道容量的一般性方法，即，已知信道转移概率矩阵，求信道容量C的一般性方法 对称，与P(x)无关 等概，得极值 有扰离散信道的信道容量?4/4 例题：设信源有符号0与1组成，且等概。如果在信道中传输速率为每秒1000个符号，由于干扰引起的误符号率为1×10-2。求信道容量？ 解：信道中传输速率为每秒1000个0/1符号，信道容量为919比特/秒 有扰连续信道的信道容量?1/3 有扰连续信道的信道容量模型： 在有扰连续信道中，可以认为，接收到的信号Y是发送信号与噪声的叠加 与离散信道信道容量的分析相同，对于连续信道，仍满足： X N Y=N+X 加性信道 有扰连续信道的信道容量?2/3 有扰连续信道的信道容量分析方法： 噪声N与信号X相互独立： 噪声熵 有扰连续信道的信道容量?3/3 有扰连续信道的信道容量模型： 对带宽为W的连续信号，可根据抽样定理转化为离散信号，理想时最低抽样频率为2W，因此： 求解方法 加性信道容量：噪声N（即信道）的统计特性 选择p(x)使输出熵H(Y)达到最大值 高斯噪声连续信道的信道容量?1/2 假设条件： 有扰连续信道为高斯噪声信道，且平均功率受限 信号功率为S，噪声功率为N 高斯噪声连续信道的信道容量?2/2 高斯噪声连续信道的信道容量 香农公式：在连续信道中，假设输入信道的噪声是加性高斯白噪声功率为N（W），信道带宽为W（Hz），信号功率为S（W），该信道的信道容量为： 香农公式的物理意义?1/3 提高信号与噪声功率之比（信噪比S/N）能增加信道容量 当噪声功率N→0时，信道容量C→∞，即无干扰信道容量为无限大 增加信道带宽W并不能无限地使信道容量增大 当噪声为高斯白噪声时，随着W增大，噪声功率N＝Wn0（n0为噪声单边功率谱密度）也增大，因此有： 香农公式的物理意义?2/3 信道容量一定时，带宽与信噪比S/N之间可以彼此互换 信道容量C是信道能传输的极限信息速率，通常把实现上述速率的通信系统称为理想通信系统 香农公式只证明了理想系统的“存在性”，却没有给出这种通信系统的实现方法。因此，理想系统只能作为实际系统的理论极限 香农公式是在信道噪声为高斯白噪声下得到的，对其他类型的噪声，香农公式需要修正 香农公式的物理意义?3/3 数字通信中的香农极限，Eb是单码元的能量 香农公式例题?1/2 例：已知黑白电视图像大约由3×105个像素组成，设每个像素有10个亮度等级，他们出现的概率是相等的。要求每秒传送30帧图像，为了满意地再现图像，需要信噪比为1000倍（30db），试求传输此电视信号所需的带宽？ 解： 由于每个像素有10个亮度等级，且等概率，则每个像素包含的信息量为： 每帧有3×105个像素 , 每帧的信息量为： 每秒传送30帧，故信息速率为 香农公式例题?2/2 解（续）： 由香农公式可知，信道信道容量必须大于或等于R，则所需信道最小的信道容量为： 由题可知，S/N＝30db=103，可求出最小带宽为 因此，传送黑白电视图像信号所需最小带宽为3MHz 香农信道编码定理** 香农在他那篇著名的“通信的数学理论”论文中还提出了另一条具有十分重要指导意义的结论：若信道容量为C，消息源产生信息的速率为R，只要C≥R，则总可以找到一种信道编码方式实现无误传输；若CR，则不可能实现无误传输。这一结论为信道编码指出了方向 若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息速率RC，总可以找到一种编码，当L足够长时，译码差错概率Pe?，?为任意大于0的正数。反之，当RC时，任何编码的Pe必然大于0，当L趋于无穷大时，Pe趋于1 小结 离散信源、连续信源的信息