《信息论与编码原理》孟放-第三章 离散信道（1）-张老师.pdfVIP

第三章 离散信道 1、信源的输出中含 2、信道上传输多 有多少信息（最大熵） 少信息（信道容量） 5、有噪信道编码 3、无失真信源编码 4、限失真信源编码 问题  如何度量信道上传输的信息量（接收到的信 息量）？  信道传输信息的能力？  信源与信道的匹配？ 主要内容  平均互信息  信道的数学模型及其分类  离散无记忆信道  单符号信道  离散无记忆扩展信道  一般离散信道  信道的组合  信道容量  信道剩余度 3.0 平均互信息 3.0 互信息  设X为信源发出的离散消息集合；Y为信宿 收到的离散消息集合  信源发出的消息，经过有噪声的信道传递到 信宿 信源 信道 信宿 噪声 通信系统的简化模型 3.0 互信息- 相关概率知识  先验概率：信源发出消息 的概率   xi p x i   y p x  后验概率：信宿收到消息 后推测信源发 j i 出 的概率，即条件概率 p x | y  x i i j 3.0 互信息 定义：互信息为事件y 所给出关于事件x 的信息， j i 即       p x i | y j  I x ; y I x  I x | y log i j i i j   p x i 先验不定度 后验不定度  I (x ) : 收到y 前对于信道输入符号x 存在的不定度 i j i  I(x |y ) ：收到y 后对x 仍然存在的不定度 i j j i 单位：bit 3.0 互信息 例题3.0.1  X   0 1  一离散无记忆信源，其概率空间为    