工程科技信息论.ppt

? 定理 3.3 离散串联信道中，平均互信息满足： ? 物理意义： 接收到 Z 关于 XY 的平均互信息大 于接收到 Z 关于 X 或者 Y 的平均互信息。 ( , ) ( , ) ( , ) ( , ) I XY Z I Y Z I XY Z I X Z ? ? ( | ) ( | ) ( | ) ( | ) P z xy P z y or P z xy P z x ? ? 当且仅当 等号成立 第 3 章 信道与信道容量 (3) 《信息论与编码 B 》 西安邮电学院 通信与信息工程学院 2012 年 10 月 目 录 信源与信道匹配 离散序列信道及其容量 独立并联信道及其容量 串联信道容量及数据处理定理 2.4 2.3 3.4 2.1 3.7 3.3 2.5 3.5 连续信道及其容量 3.6 信道的基本概念 3.1 离散信道的容量及其计算 3.2 信道 1 2 { , ,..., } r X x x x ? X 1 2 { , ,..., } s Y y y y ? Y ( | ) j i p y x ? ? ? ? ? ? ? ? ? ? ? ? ? rs r r s s p p p p p p p p p P ... : : : : ... ... 2 1 2 22 21 1 12 11 复习 1 ： 离散信道的数学模型 1 0 1 : = ( | ) s ij ij j ij j i p p p p y x ? ? ? ? 其中： 转移概率 信道矩阵 （转移矩阵 ): 由转移概率组成。 复习 2 ： 信道容量的定义 由于平均互信息 I(X;Y) 是输入随机变量 X 的概率分布 p(x) 的 ∩ 型凸函数，所以对一固定的信道，总存在一种信源（某种 概率分布 p(x) ），使传输每个符号平均获得的信息量最大 , 即 每个固定的信道，都有一个最大的信息传输率。 定义一：信道容量定义为信息传输率或平 均互信息的最大值。 )} ; ( { max ) ( Y X I C X P ? （比特 | 符号） t C C t ? (Bit|s) C t 仍称为信道容量 若平均传输一个符号需要 t 秒钟，则信道在单位时间内 平均传输的最大信息量为 C t ： 复习 3: 特殊信道容量的计算 第 1 种：具有扩散性能的无损信道 第 2 种：具有归并性能的无噪信道 其信道矩阵是单位矩阵： ? ? ? ? ? ? ? ? ? ? 1 0 0 0 1 0 0 0 1 0 ( / ) ( / ) ( , 1,2,3) 1 j i i j i j P b a P a b i j i j ? ? ? ? ? ? ? ? 第 3 种：具有一一对应的无损无噪信道 ( 例 3-2) □ 当信道输入等概率分布（输出也是等概率分布时）。 1. 对称离散无记忆信道容量（ DMC ） ? 对称 DMC 信道定义 ? 输入对称 如果转移概率矩阵 P 的每一行都是第一行的置 换 ( 包含同样元素 ) ，称该矩阵是输入对称 ? 输出对称 如果转移概率矩阵 P 的每一列都是第一列的置 换 ( 包含同样元素 ) ，称该矩阵是输出对称 ? 对称的 DMC 信道 如果输入、输出都对称，称之为对称信道。 [ 例２ ] 某对称离散信道的信道矩阵如下，求其信道容量。 ? ? ? ? ? ? ? ? ? ? ? 3 1 3 1 6 1 6 1 6 1 6 1 3 1 3 1 P ? 准对称信道是对称信道更为一般的情况，在 计算信道容量时，需要将对称信道容量的计 算方法作一个修正。 ? 定义 ： 如果信道矩阵 M 的列可以划分为若干 个互不相交的子集 B k ，由 B k 的列组成的新的 子矩阵 M k 是对称矩阵，则 M 所对应的信道 称为准对称信道。 2. 准对称离散无记忆信道容量 其中： r 是输入符号的个数， 是准对称矩 阵的行元素。假设准对称矩阵可以划分为 n 和不相交的子 集，则 N K 是第 K 个子矩阵的行因素之和， M K 是第 K 个子矩阵 的列因素之和。 ? 可以证明达到准对称信道信道容量的输入分布是 等概的，信道容量的计算如下（和对称信道相比 作了一点修正）： 1 2 1 log ( , ,..., ) log ( / ) n s k k k C r H p p p N M bit symbol ? ? ? ? ? 1 2 , ,..., s p p p 开始学习新内容 3.2.4 一般离散无记忆信道容量 P52 ■ 信道容量 ■ 约束条件： ■ 求信道容量转化为求 对信源概率 分布 的条件极值。 ? ? ( ) max ( ; ) P X C I X Y ? ( ; ) I X Y ( ) P X