信息论信道及信道容量要点.ppt

按列分成两个不相交的子集后，两个子集构成的子矩阵 都列可排列，所表示的信道为准对称信道 信道容量 达到信道容量的信源概率分布 四、N次扩展信道及信道容量 1、多符号离散信道 定义 对应于多符号离散信源和多符号离散信宿的信道 表示 信源——离散型随机过程X1X2…XN 信宿——离散型随机过程Y1Y2…YN X1X2…XN P(Y1Y2…YN/X1X2…XN) Y1Y2…YN 2、N维离散平稳信道 定义 多符号离散信道对任意两个不同时间起点k和l，其转移概率分布及直到N维的各维联合转移概率分布都相同 取l=1，N维离散平稳信道 3、N维离散平稳无记忆信道DMC 定义 N维离散平稳信道的符号序列中各符号相互独立 表示 N维离散平稳无记忆信道形式上相当于单符号离散信道的N次扩展信道 N次扩展信道——对应于N次扩展信源和N次扩展信宿的信道 4、N次扩展信道的信道容量 BSC的信道矩阵 二次扩展信道的信道矩阵 二次扩展信道的信道矩阵和信道容量 例1 m=n信道的信道容量 Z信道 的信道容量C及达到信道 容量的信源概率分布P(X) 例6 习题：(P99) 3.1、3.2 二、对称信道及信道容量 1、对称信道 矩阵中每一行都是集合　　　　　　　中各元素的不同排列——矩阵行可排列；每一列都是集合 中各元素的不同排列——矩阵列可排列 对称信道中，当mn时，P是Q的子集；当m=n时，P =Q 例1 下列信道矩阵所表示的信道是否为对称信道？ 既行可排列，又列可排列的信道矩阵所表示的单符号离散信道 定义 ? 行可排列 列可排列 行可排列 不存在P，列不可排列 × 2、对称信道的信道容量 m=n=2时的对称信道——二进制对称信道BSC 对称信道行可排列 信宿等概时最大 最大值可达条件 对称信道列可排列，不失一般性，设对称信道的信道矩阵 对称信道的信道容量 BSC的信道容量 达到信道容量的信源概率分布 例2 信道　　　　　　　　　　的信道容量及达到信道 容量的信源概率分布 信道矩阵既行可排列，又列可排列，所表示的信道为对称信道 信道容量 达到信道容量的信源概率分布 三、准对称信道及信道容量 行可排列而列不可排列，按列分为若干个不相交的子集，各子集构成的子矩阵列可排列的信道矩阵所表示的单符号离散信道 信道矩阵 定义 1、准对称信道 行可排列 不存在P，列不可排列 按列分成两个不相交的子集，两个子集构成的子矩阵 列可排列，信道为准对称信道 二进制删除信道——准对称信道 准对称信道行可排列 2、准对称信道的信道容量 信宿等概的最大值是否可达？ 如果信宿等概 矛盾！不可达 按列分为s个不相交的子集，各子集构成的子矩阵列可排列 对应于子信道的各子信宿等概时最大 最大值可达条件 子矩阵列可排列，不失一般性，设第k个子矩阵 准对称信道的信道容量 达到信道容量的信源概率分布 二进制擦除信道的信道容量 的信道容量及达到信道容量时的信源概率分布 例1 行可排列 不存在P，列不可排列 按列分成两个不相交的子集后，两个子集构成的子矩阵 都列可排列，所表示的信道为准对称信道 信道容量 达到信道容量的信源概率分布 的信道容量及达到信道容量时的信源概率分布 例2 行可排列 不存在P，列不可排列 * 信道及信道容量 * 第3章 信道及信道容量 教学内容和要求 掌握单符号离散信道及平均互信息量，理解其性质 掌握m=n信道、对称信道和准对称信道的信道容量 了解多符号离散信道，掌握N次扩展信道及信道容量 掌握单符号连续信道及平均互信息量，理解其性质 掌握高斯加性信道的信道容量和最大信息传输速率 了解多符号连续信道及信道容量 编码 信道 译码 噪声 信源 信宿 信道——传输信号的媒介，信道中通常引入噪声 狭义信道——信号的传输媒介 有线信道——电线、电缆、光缆 无线信道——电磁空间——地波传播、天波传播、视线传播 发转换 媒介 收转换 调制 解调 调制信道 编码信道 广义信道——包括调制解调、收发转换装置的信道 调制信道——连续信道 编码信道——离散信道 一、单符号离散信道及信道容量 1、单符号离散信道 定义 对应于单符号离散信源和单符号离散信宿的信道 表示 信源——离散型随机变量X 信宿——离散型随机变量Y 随机变量X的取值xi为信源发出的消息 i=1,2,…,n 随机变量Y的取值yj为信宿收到的消息 j=1,2,…,m X P(Y/X) Y x1 x2 xn y1 y2 ym P(y1/x1) … … … P(ym/xn) P(y2/x2) 例1 例2 2、互信息量 信源发出消息xi而信宿接收到消息yj，信宿消息yj所含