4-第四讲_信道容量及其计算重点.ppt

* * ??? 第四讲 4－1 信道容量 4－2 信道容量的计算方法 信道容量及其计算 Y X a1=0 p p 1-p 1=b2 a2=1 0=b1 1-p 1、常见的简单DMC离散信道： 二元对称信道 （DSC）：输入符号X取值于{0,1}， 输出符号取值于{0,1}，传递概率为 4－1 信道容量 二元删除信道 （BEC）：输入符号X取值于{ 0, 1}， 输出符号取值于{ 0, 2, 1}，传递概率为 0 1 q 1-p 1-q p 1 2 0 0 1 0 ？2 1 删除信道的必要性 2、 信道容量定义 信息传输率：信道中平均每个符号所能传送的信息量。 R = I(X;Y) = H(X)-H(X|Y) （bit/符号） 有时我们需要关心单位时间内（一般为秒为单位）平均传输的信息量，若平均传输一个符号需要 t 秒，则信道每秒平均传输的信息量为（速率） I（X；Y）是输入随机变量的概率分布的上凸函数，所以对于固定的信道，总存在一种信源分布，使传输每个符号平均获得的信息量最大，也就是说，每一个固定信道都有一个最大的信息传输率。 信道容量定义为信道中每个符号所能传递的最大信息量，也就是最大 I (X；Y)值。 此时输入的概率分布称为最佳输入分布。 信道容量C与输入信源的概率无关（C只对应着一种信源概率分布，即最佳概率分布），它只是信道传输概率的函数（不同的转移概率对应不同的信道），只与信道的统计特性有关，所以信道容量是完全描述信道特性的参量。 信道容量表示了信道传送信息的最大能力，这个量在信息论研究中有重要意义。编码定理将证明：传送的信息量R必须小于信道容量C，否则传送过程中将会造成信息损失；若R<C，就可以通过编码方法保证将全部信息几乎无误地传送倒收端。 4－2 信道容量的计算 （1）、对称信道的容量 对称信道：信道矩阵的每一行都是由同一概率分布的 不同排列组成，并且每一列也是同一元素 集的不同的排列组成。 1/3 1/3 1/6 1/6 1/3 1/3 1/6 1/6 行 列 1/2 1/3 1/6 1/6 1/3 1/2 1/3 1/6 1/2 行 列 而以下两个矩阵不是对称的，而是准对称的。 （行对称而不是列对称） 1/3 1/3 1/6 1/6 1/3 1/3 1/6 1/6 二元对称信道的容量： 例： 0. 7 0. 1 0. 2 0. 2 0. 1 0. 7 对于对称信道 由于信道是对称的，上边的条件熵与x无关，所以 对于对称信道，输入符号的概率分布为等概时，输出符号也一定是等概的。 例： ( P 95－例3. 5 ) 输出符号集个数 （2）、准对称信道的容量 准对称信道：信道矩阵（列）的子阵是对称矩阵。 定理：达到准对称离散信道信道容量的输入分布为 等概分布。 r是输入个数，n是不相交子集数，Nk是行之和，Mk是列之和 解：达到信道容量的输入分布为等概分布。 此时输出分布为： 例：求二元对称删除信道的C。（例3.8中特例 ） 1-q q q 1-q 0 1 2 （与公式计算的结果相同） 此时平均互信息就是信道容量 此例题可作为后面：一般信道容量充分必要条件定理 的例子。该定理说明：只要信源每个符号对于输出端 Y提供相同的互信息（概率为零的除外），则此时 平均互信息就是信道容量。 定理：一般离散信道的平均互信息 I(X;Y) 达到极大 值的充要条件是：输入概率矢量 满足 其中 是信道输入x=k时，关于信道输 出一个字母的平均互信息，即 （3）、一般DMC容量的计算 一般信道容量的计算方法 （拉格朗日乘子法）