信道与信道容量.docVIP

第三章 信道与信道容量 §3-1 引言 1〉什么是信道？ 信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 2〉信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 3〉研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 §3-2 信道的分类与描述 一〉信道分类 信道可以从不同角度加以分类，但归纳起来可以分为： 从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户； 等方面加以分类： 信道划分是人为的，比如： 其中：c1为连续信道，调制信道； c2为离散信道，编码信道； c3为半离散、半连续信道； c4为半连续、半离散信道。 二〉信道描述 信道可以引用三组变量来描述： 信道输入概率空间： 信道输出概率空间： 信道概率转移矩阵：P 即：{，P， }， 它可简化为：。 其中： 而 而 当K=1时，退化为单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道BSC： 且： ，， §3-3 无干扰离散信道（略） §3-4 有干扰时单个消息（符号）信道及其容量 这里，仍类似于信源，从最基本、最简单的单个消息（符号）开始，再逐步将其推广至消息序列信道以及多用户信道。 离散单消息信道与信道容量 下面，我们首先将互信息表达成概率的函数： 两种表达式中，这里选用。 一般当信道给定以后，（ 已知） 即，这时互信息仅决定于信源的先验分布，我们可以进一步调整值使达到最大值，由互信息的性质是的上凸函数，这时最大值一定存在，我们定义它为信道中传送的最大信息率，即信道容量C，则 即通过改变信道输入的概率分布求得互信息的极值，称它为给定信道的信道容量值。 强对称信道: 其中： 它具备三个特征： 矩阵中的每一行都是第一行的重排列； 矩阵中的每一列都是第一列的重排列。 错误分布是均匀的，为 信道输入与输出消息（符号）数相等，即m=n。 显然，对称性基本条件是1，而2、3是加强条件。 下面，我们放松对信道的约束，仅满足条件1，就构成一般性对称信道。 例： 显然，均满足条件1,而且还满足条件3，对这类一般对称信道有如下定理： 定理3-4-1：对于单个消息离散对称信道，当且仅当信道输入输出均为等概率分布时，信道达到容量值。 即 证： 由信道对称性： 第i行（每一行）都是第一行重排列， 即与行序号i无关，而（给定） 由信道容量定义： 由最大熵定理，当时，最大。 再由信道对称性与概率论公式有 准对称信道 再进一步放鬆条件 若P(/)不满足对称条件，但是，，其中r=1,2……s。且所有Pr满足对称性条件，则称P为准对称信道。 例： 显然子阵P1,P2满足可排列性（行，列） 对准对称信道有下列定理. 定理3-4-2：对于单消息、离散、准对称信道，当且仅当信道输入为等概率分布时，信道达容量值: 且 证：较繁，自己看书 具有可逆矩阵信道及其容量,其特点是： P一定为方阵，存在逆阵 离散单消息（或无记忆）信道，容量C的计算机迭代算法： 基本思路： 求C即求互信息极值，可以采用拉氏乘子求条件极值方法求解； 实现迭代关键在于寻求两个互为因果关系并决定互信息的自变量，即从 中选用。 其原因是: ①求某类信道容量时，信道特性是给定的，即它已不是自变量； ②由容量C的定义，极值是对而言，因而只能选取，且 互为因果， 求解步骤： 设，求在条件下的条件极值。即 求解最佳值: 再设值给定，求在条件下的条件极值。即 求解最佳值： 将①②改写为迭代形式： 迭代步骤示意图如下: 当(或足够大时)，计算 可进一步证明: 1 即收敛于信道容量值, 2收敛速度取决于: §3-5 离散消息序列信道及其容量 1．离散无记忆信道 由消息序列互信息性质 对离散无记忆信道，有 则 当且仅当信源(信道入)无记忆时，“等号”成立。 2．离散，平稳，有记忆信道: 设为瞬间信道状态，瞬间信道输入和输出值，信道转移概率可表为