离散信道和其信道容量.pptx

信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 信道模型 信道疑义度 平均互信息及其性质 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 信道模型 信道疑义度 平均互信息及其性质 信息论与编码基础 离散信道 根据输入、输出信号的时间特性和取值特性 离散信道 连续信道 半离散或半连续信道 波形信道 信道的分类 数字信道 根据信道的用户多少 单用户信道 多用户信道 一对多、多对一 多对多 信息论与编码基础 离散信道 根据信道转移概率的性质 无扰信道 有扰信道 实际的通信信道几乎都是有扰信道 无记忆信道 有记忆信道 实际信道一般都是有记忆的，信道中的记忆现象来源于物理 信道中的惯性，如电缆信道中的电感或电容、无线信道中电 波传播的衰落现象等。 按信道统计特性 恒参信道 变参信道 卫星信道 短波信道 根据信道噪声的性质 高斯噪声信道 非高斯噪声信道 信道的分类 信息论与编码基础 离散信道 离散信道的数学模型 信道 无扰（无噪）信道 有扰信道 无记忆信道 有记忆信道 信息论与编码基础 离散信道 信道 单符号离散信道 例1 BSC信道 BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型 p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错 误的概率 信息论与编码基础 离散信道 条件转移概率 转移矩阵 转移概率图 信息论与编码基础 离散信道 单符号离散信道 一定比例的bit被删 除，并且接收者知 道是那些bit已经被 删除。 例2 二进制删除信道 信息论与编码基础 离散信道 单符号离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 信道模型 信道疑义度 平均互信息及其性质 信息论与编码基础 离散信道 先验熵 后验熵 若信道中存在干扰时 信道疑义度 0≤H(X|Y)≤H(X) 损失熵 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 信道模型 信道疑义度 平均互信息及其性质 信息论与编码基础 离散信道 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 信道模型 信道疑义度 平均互信息及其性质 信息论与编码基础 离散信道 平均互信息 定义 令 为信道输入X与输出Y之间的平均互信息 接收到每个输出符号后获得的关于X的平均信息量 bit/sig 互信息 信息论与编码基础 离散信道 信息传输率 不确定性消除的多少 获得信息量的大小 互信息 由于条件引入获得的信息量 1）对称性 I(ai;bj) = I(bj;ai) 2）事件统计独立时 I(ai;bj) = 0 3）可正、可负 4）I(ai;bj) ≤ I(ai) 信息论与编码基础 离散信道 平均互信息 互信息 关系： 含义：I(x;y)表示由随机事件y中获得关于事件x的信息 (1) I(X;Y)与I(x;y) (2)I(X;Y)与熵 共同点：统计平均 不同点：提供与获得 信息论与编码基础 离散信道 平均互信息是 互信息的统计 平均值。 信息论与编码基础 离散信道 平均互信息 信息论与编码基础 离散信道 平均互信息常用计算公式 信息论与编码基础 离散信道 条件互信息与平均条件互信息 给定X、Y、Z三个离散概率空间，其连接关系为 系统1 系统2 X Y Z 系统1 Y Z X 信息论与编码基础 离散信道 小结 信道 基本信道 信源发送的信息量 信道损失的信息量 输出端获得的信息量 H(X) 信源熵 H(X|Y) 信道疑义度 损失熵 I(X;Y) 平均互信息信息传输率 信息论与编码基础 离散信道 例：两枚硬币，一枚是正常币（一面是面值，一面是国徽）。一枚不正常币（两面都是面值）。随机取一枚，抛掷2次。问：出现面值的次数对于硬币识别提供多少信息量？ 利用詹森不等式 信息论与编码基础 离散信道 接收者通过信道获得的信息量不可 能超过信源本身固有的信息量。 0≤I(X;Y)≤H(X) 信息论与编码基础 离散信道 发出X后获得的关 于Y的平均信息量 信息论与编码基础 离散信道 4、与各类熵的关系 损失熵 噪声熵 信息论与编码基础 离散信道 5、 信息论与编码基础 离散信道 信息论与编码基础 离散信道 例1（续） 当p = 0时 当p = 1时 当p = 1/2时 信息论与编码基础 离散信道 信息论与编码基础 离散信道 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 三、有噪信道编码定理 定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香