(信息论基础)第三章信道模型和信道容量.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 2元输入信道的信道容量 信道的输入信号的样本只有2个，我们可以 设概率空间为： 只有一个变量p，信道传递矩阵也已知，这 样可以求出平均互信息 ，是一个包 含一个变量p的表达式 2元输入信道的信道容量 现在就是要求这个表达式的最大值. 高等数学中讲过极值的算法：对函数求导 数，令导数等于0，根据此等式求出变量的 值。再把此值带回到函数中，即可得到函 数的极值 2元输入信道的信道容量 【例】二元删除信道，输入的取值有2个为 （0,1)，输出的取值有3个为(0,1,2)，定义 正确概率p。BEC的传递矩阵如下，求信道 容量 2元输入信道的信道容量 解：设输入0的概率为 2元输入信道的信道容量 一般DMC信道容量的计算方法 总结 信源与信道的匹配 为了描述信源与信道的匹配程度，定义了信 道剩余度： 相对信道剩余度： 为了提高信道利用率，就必须平均互信息尽 量接近或达到信道容量，也就是使输入信号 概率分布接近或达到最佳输入分布 连续信道容量 连续信道容量 加性高斯噪声信道容量： 信道模型 信道容量 对称信道容量 准对称信道容量 一般DMC信道容量 作业 3.1 3.2 3.5 3.8 * * * * * * * * * * * * * * * * * * * * * 平均互信息量 平均互信息量－课堂作业 设信源X的符号集{0,1,2}，其概率分布为 Px(0)=1/4,Px(1)=1/4,Px(2)=1/2.通过一信道，其 信道线图为： 平均互信息量－性质 平均互信息量－性质 凸状性： 平均互信息量－性质 凸状性： 定理1：当信道给定(即P(Y|X)给定),平均互信 息量I(X;Y)是输入信号先验概率分布P(X)的上 凸函数。 定理2：当信源给定(即P(X)给定),平均互信 息量I(X;Y)是信道传递概率分布P(Y|X)的下 凸函数。 平均互信息量－性质 这两个定理非常重要，是研究信道容量， 率失真信源编码的理论基础。 在信道容量的研究中，信道是固定的，平 均互信息 是输入信号概率分布 的函数，总存在最佳的概率分布， 使平均互信息达到最大值，这个最大值就 是信道容量 平均互信息量－性质 在率失真信源编码的研究中，把编码过程 看作信道，输入的信号是固定的，平均互 信息 只是传递概率分布 的函 数，这时在满足失真度的情况下，要压缩 的更多，就是要平均互信息尽量小 信道容量的定义 研究信道的目的就是研究信道所能够传输 的最大信息量，即信道容量 定义平均互信息量，即信道的信息率： 定义信息传输速率： (单位：bit/s) 信道容量的定义 根据定理一：对于特定信道， 是输入 信号的概率分布 的上凸型凸函数，存 在一种输入信号的概率分布，使 最大。 定义最大的信息传输率或信息传输速率为信 道容量 相应的输入概率分布称为最佳输入分布 信道容量的计算 求信道容量是本章的重点 从数学的角度上分析，求信道容量是对一 个特定的信道，调整输入信号的概率分 布，求 的最大值的问题 对于一般的信道，信道容量的计算非常复 杂，我们仅研究一些特殊的信道容量 离散无噪确定信道的信道容量 信道中没有干扰，输入符号和输出符号之间 有一一对应的函数关系 离散无噪确定信道的信道容量 离散无噪确定信道的信道容量的最佳输入分 布是等概分布。 有噪无损信道的信道容量 有噪无损信道的信道容量 最佳输入分布是等概分布 无噪有损信道的信道容量 无噪有损信道的信道容量 对称信道的信道容量 信道的传递概率矩阵中，每一行都是另一 行的置换，每一列也都是另一列的置换， 这样的信道称为对称信道 对称信道的信道容量 作为对称信道的一个特殊形式，我们定义了强 对称信道或称均匀信道 对角线上的元素是正确概率 ，错误概率平均 分配给其它个符号，每个符号的概率 对称信道的信道容量 要求信道容量，先求平均互信息： 首先看 是传递矩阵某一行的传递概率 对称信道的信道容量 因为是对称矩阵，每一行都是其他行的置 换，根据熵的对称性，有： 所以有 对称信道的信道容量 要得到信道容量，就要求 最大，根据 离散熵定理，就要 等概率分布 因为是对称矩阵，每一列都是其它列的置换，只要输入信号的概率分布 为等概率分布，那么输出信号就是等概率分布 对称信道的信道容量 对于输入等概率，输出信号的概率 对称信道的信道容量 可以看到，只要输入信号等概率分