第三章离散信道及其信道容量.pptVIP

第四节 信道容量及其一般计算方法 如果离散信道的转移矩阵如下 则称此信道为强对称信道或均匀信道，它是对称离散信道的一种特例。该信道的各列之和也为1 第四节 信道容量及其一般计算方法 下面我们来计算对称离散信道的信道容量 I(X;Y)=H(Y)-H(Y/X) 而 H(Y/X=x)是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个与x无关的一个常数，即 因此 可以看出，当输出等概分布时，即H(Y)=logs时信道容量达到。 第四节 信道容量及其一般计算方法 那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输入等概分布时，输出也等概分布 可以看出，信道的输出也是等概分布的 第四节 信道容量及其一般计算方法 例： 对于二元对称信道 这个式子很重要。 第四节 信道容量及其一般计算方法 例：对于强对称信道，其信道容量为： 第四节 信道容量及其一般计算方法 3、准对称信道的信道容量： 若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道，如： 可划分为： 第四节 信道容量及其一般计算方法 有如： 可分成： 第四节 信道容量及其一般计算方法 可以证明达到信道容量的输入分布是等概分布，也可计算准对称信道的信道容量为： 其中r是输入符号集的个数， 为矩阵中的行元素 是第k各矩阵中的行元素只和， 是第k个矩阵的列元素之和 第四节 信道容量及其一般计算方法 例： 可分成： 第四节 信道容量及其一般计算方法 4、一般离散信道的信道容量 我们可以对输入分布求极值，得到 而： 定理3.3 一般离散信道达到信道容量的充要条件是输入概率分布满足 该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。 第四节 信道容量及其一般计算方法 第四节 信道容量及其一般计算方法 可以利用该定理对一些特殊信道求得它的信道容量 例：输入符号集为:{0,1,2} 假设P(0)=P(2)=1/2，P(1)=0，则： 第四节 信道容量及其一般计算方法 所以： 第四节 信道容量及其一般计算方法 对于一般信道的求解方法，就是求解方程组 移项得： 令 则 若r=s，此方程有解，可以解出s各未知数 ，再根据 得 从而 第四节 信道容量及其一般计算方法 例： 可列方程组： 第四节 信道容量及其一般计算方法 解之得： 第五节 离散无记忆扩展信道及其信道容量 离散无记忆信道为： 则它的N次扩展信道为： 第五节 离散无记忆扩展信道及其信道容量 为N次扩展信源中的一个符号 为N次扩展接收符号集中的一个符号 第五节 离散无记忆扩展信道及其信道容量 我们首先从一个例子开始 例：二元无记忆对称信道得二次扩展信道 二元记忆对称信道为 可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。 第五节 离散无记忆扩展信道及其信道容量 则它的二次扩展信道为： 第五节 离散无记忆扩展信道及其信道容量 根据互信息的定义 定理3.5 如果信道是无记忆的，即 则： 定理3.6 如果信源是无记忆的 第五节 离散无记忆扩展信道及其信道容量 因此，如果信源、信道都是无记忆的 这就是离散无记忆扩展信道得信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。 第六节 信源与信道的匹配 信道的信道容量是固定的，如果某一信源通过该信道传输是，信息传输率达到了信道容量，我们认为信源与信道达到匹配，否则，我们认为有剩余。 定义：信道剩余度＝C-I(X;Y) 信道的相对剩余度＝ 对于无损信道，相对剩余度＝ 第六节 信源与信道的匹配 如何才能做到匹配呢？ 一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率。这就是香农无失真信源编码理论，也就是无失真数据压缩理论。 无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。这些是我们将在下一章讨论这些问题。 第三章 离散信道及其信道容量 第一节 信道的数学模型及分类 第二节 平均互信息及平均条件互信息 第三节 平均互信息的特性 第四节 信道容量及其一般计算方法 第五节 离散无记忆扩展信道及其信道容量 第六节 信源与信道的匹配 第一节 信道的数学模型及分类 1、信道的分类： 根据信道用户的多少，可分为