信息论第2讲(2014蒋华)1(看).ppt

例：n＝1000码元/秒，P(0)=P(1)=1/2 计算 和 完成： 的转换 计算疑义度 再求： 接收熵速率比发送熵速率低。 3、信道容量 有噪信道的信道容量也可定义为： 信道提供给收信者最大的熵速率或信息速率。 对于二元对称信道： 求: (p为二元信道上传输的错误概率) 无噪声时：p＝0 C＝n bit/s 本节重点： 1、转移概率的概念 P(y/x)－发x收y 2、疑义度与疑义度熵速率 H(x/y)收到y后对x的不肯定程度 3、互信息 4、散布度： H(y/x)发送x在收y端的散布程度 5、信道容量 计算方法 作业：2－8，2－9，2－10，2－11，2－12，2－13，2－14 八、连续有噪信道的熵速率与信道容量 1、模拟信道熵速率 加性高斯白噪声 AGWN （以后均指此噪声） 收：y=x+n (信源与噪声独立无关) 解释：接收信息 y 是发送信息 x 与噪声之和 n。 故对任意给定的 x 值，y 值所服从的概率分布规律与噪声 n 的概率分布形式是一样的，即 噪声 接收信号 根据定义： 结论：只要噪声是AGWN，接收到的熵具有噪声形式。 共熵： 定义：接收熵（平均信息量）： 接收熵速率： （熵速率已不是相对值，而是两熵之差，为常数） 收信者实际收到的熵速率等于接收到的总信息H(y)减去噪声 那一部分信息率。 2、信道容量 假定：1.噪声为AGWN，功率为N 2.信道带宽为W 3.输出信号的平均功率受限为P 对噪声来说： 对接收信号来说： 接收信号的功率=N+P （独立无关相当于噪声功率相加） 也应为正态分布 对信源 n=2W/s，时： 所以： Shannon公式： 所以信道容量： 其中： W信道带宽 ， 功率之比, T秒之内,总信息量为：I=CT 三维空间的体积 启发： 电压以 增加，信道容量以线性增加。 W,T可以互换（I一定时），当 固定时。例如， 8MH的录像信号在4K的信道上传送需要2000倍的时间。 3、信噪比不够，可用时间来补偿。（如可以反复重复） 4、频带W和S/N比互换：FM，AM（实际系统远远没达到公式中所具有的潜力） 5、扩频通信： 很小（PN）时，可以加宽W的办法，以保持信息量不变。 注意：实际上C是理想的系统，比实际的系统要高的多。 请看实例：电报内容 50bit/s 波形速度为：75baud （起始位1.5，停止位1，信息位5） 每个码元的长度为：T=1/75=13.3ms 要可靠地传输，不考虑噪声的影响，需要带宽3fc （ fc为奈奎斯特第一准则的特征频率，即： 时域波形的间隔为T 则：T=1/2fc 即 fc=1/2T） 取样间隔 信道特性 而 R=50 bit S/N20db 则： 所以 3fc=112.5Hz 近似值为：100Hz 例：载波电话：ASK 传信率2000bit/s 需要Pe10-5 带宽需要W=4000Hz S/N14.7db 找出: ——相对熵定义 讨论两种情况： 信源输出幅度即峰值功率受限 信源输出平均功率受限 这里设： 1、信源输出幅度即峰值功率受限 约束条件1： 取以e为底 代入限定条件（1） 约束条件1： 均匀分布 相当于等