第4章 离散信道的平均互信息与信道容量.ppt

5、多符号离散信道的信道容量（联合信道容量） 定义 信道给定时联合平均互信息I(X1X2…Xn; Y1Y2…Yn)的最大值，用C(X1X2…Xn; Y1Y2…Yn)表示 条件信道容量——信道给定时条件平均互信息I(Xk;Yl/X1…Xk-1Y1…Yl-1)的最大值，用C(Xk;Yl/X1…Xk-1Y1…Yl-1)表示，其中k=1,2,…,n，l=1,2,…,n，l≥k 定义 6、信道容量的链式法则 7、多符号离散信道的信道容量率 信道给定时平均互信息率In(X1X2…Xn; Y1Y2…Yn)的最大值，用Cn(X1X2…Xn; Y1Y2…Yn)表示 定义 4.6 n次扩展信道的平均互信息与信道容量 1、n维离散平稳信道 定义 多符号离散信道对任意两个不同时间起点k和1，转移概率及直到n维的各维联合转移概率相同 2、n维离散平稳信道的平均互信息 3、n维离散平稳无记忆信道与n次扩展信道 定义 n维离散平稳信道传输的消息中各符号相互独立 n维离散平稳无记忆信道——独立同分布，相当于单符号离散信道的n次扩展信道 n次扩展信道——对应于n次扩展信源和n次扩展信宿——n个单符号离散信道的并联 4、n次扩展信道的平均互信息 5、n次扩展信道的平均互信息率 6、n次扩展信道的信道容量 7、n次扩展信道的信道容量率 例1 二次扩展信道的信道矩阵和信道容量 二次扩展信道的信道矩阵 二次扩展信道的信道容量 习题，(P101)3.15、3.16 如果信宿等概 矛盾！不可达 按列分为s个不相交的子集，各子集构成的子信道 为对称信道 对应于子信道的各子信宿等概是否可达？ 子信道矩阵列可置换，不失一般性，设第k个子信道矩阵 如果各子信宿等概 二进制擦除信道的信道容量 达到信道容量的信源概率 例7 信道容量及达到信道容量的信源概率 信道矩阵行可置换→弱对称信道——二进制擦除信道 按列分成两个不相交的子集，两个子集构成的子信道矩阵为对称信道 信道容量 达到信道容量的信源概率 例8 信道容量及达到信道容量的信源概率 信道矩阵行可置换→弱对称信道 按列分成两个不相交的子集，两个子集构成的子信道矩阵为对称信道 信道容量 达到信道容量的信源概率 习题，(P99-101)3.2(2)、3.7、3.14(1) 4.5 多符号离散信道的平均互信息与信道容量 1、多符号离散信道及其模型 定义 多符号离散信道——对应于多符号离散信源和多符号离散信宿的信道 信源的模型——离散型随机变量序列X1X2…Xn 信宿的模型——离散型随机变量序列Y1Y2…Yn Nn Mn X1X2…Xn P(Y1Y2…Yn/X1X2…Xn) Y1Y2…Yn Mn Nn Mn 多符号离散信道的模型—— 2、多符号离散信道的平均互信息 ①信道关于消息的互信息（联合互信息） 定义 定义 n-1 n-1 n-2 1 ②信道的平均互信息（联合平均互信息） 联合平均互信息——信宿收到信源发出各消息所含互信息的数学期望，用I(X1X2…Xn ; Y1Y2…Yn)表示 定义 条件平均互信息——条件互信息的数学期望，用I(Xk;Yl/X1…Xk-1Y1…Yl-1)表示，其中k=1,2,…,n，l=2,…,n，l≥k 定义 n-1 n-1 n-2 1 3、平均互信息的链式法则 n n n(n+1)/2 n(n+1)/2 4、多符号离散信道的平均互信息率 平均互信息率——信宿收到信源发出消息中每一个符号所含的平均信息，用In(X1X2…Xn; Y1Y2…Yn)表示 定义 单位一般为bit/symbol 4.3 N×N信道的信道容量 信道容量 达到信道容量的信源概率 当M=N，方程有唯一解 例1 信道容量及达到信道容量的信源概率 4.4 对称信道、弱对称信道的信道容量 1、对称信道 矩阵中每一行都是集合　　　　　　　中各元素的不同排列——矩阵行可置换；每一列都是集合 中各元素的不同排列——矩阵列可置换 信道的信道矩阵既行可置换又列可置换 定义 例1 例2 二进制对称信道 2、对称信道的信道容量 达到信道容量的信源概率 对称信道行可置换 对称信道列可置换，不失一般性，设对称信道的信道矩阵 如果信宿等概 信宿等概是否可达？ 二进制对称信道的信道容量 达到信道容量的信源概率 例3 信道容量及达到信道容量的信源概率 信道矩阵既行可置换又列可置换→对称信道 信道容量 达到信道容量的信源概率 例4 信道容量及达到信道容量的信源概率 信道矩阵既行可置换又列可置换→对称信道 信道容量 达到信道容量的信源概率 3、弱对称信道 信道的信道矩阵行可置换 定义 例5 例6 二进制擦除信道——弱对称信道 4、弱对称信道的信道容量 达到信道容量的信源概率 弱对称信道行可置换 信宿等概是否可达？ 第4章 离散信