3离散信道及其信道容量说课.ppt

第三章 离散信道及其信道容量 3.1 信道的数学模型及分类 第三章 离散信道及其信道容量 本章的重、难点内容： 了解信道的分类及基本数学模型 掌握平均互信息和平均条件互信息的概念和意义 知道平均互信息的特征 掌握信道容量及其一般计算方法* 3.1信道的数学模型及分类 在广义的通信系统中，信道是很重要的一部分。 信道的任务是以信号方式传输信息和存储信息。 研究信道的目的就是研究信道中能够传送或存储的最大信息量，即信道容量问题。 本章首先讨论离散信道的统计特性和数学模型，然后定量地研究信道传输的平均互信息及其性质，并导出信道容量及其计算方法。 本章只限于研究一个输入端和一个输出端即单用户信道，以无记忆、无反馈、恒参离散信道为重点。 3.1.1 信道的分类 根据信道的用户多少 根据信道输入输出的关联 根据信道参数与时间的关系 根据输入输出信号的特点 3.1.2离散信道的数学模型 离散信道的数学模型如下图所示 离散信道的数学模型 无干扰（无噪）信道 有干扰无记忆信道：离散无记忆信道的充要条件 对任意N值和任意x、y的取值，上式都成立。 有干扰有记忆信道：即有干扰（噪声）又有记忆，实际信道往往是这种类型。信道输出不但与输入有关，还与其它时刻的输入和输出有关，这样的信道称为有记忆信道。 3.1.3单符号离散信道的数学模型 单符号离散信道的输入变量为X,取值于 输出变量为Y，取值于 。并有条件概率 这一组条件概率称为信道的传递概率或转移概率 一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y]来描述。 两种重要的二元信道BSC和BEC 例3.1 二元对称信道BSC（Binary Symmetric Channel）这是很重要的一种特殊信道。输入符号X取值于｛0，1｝；输出符号也取值于｛0，1｝。 传递概率： 传递矩阵： 两种重要的二元信道BSC和BEC 例3.2 二元删除信道BEC（Binary Erasure Channel）这也是很重要的一种特殊信道。输入符号X取值于｛0，1｝；输出符号取值于｛0，2，1｝。 信道传递矩阵： 二元删除信道BEC的说明 这种信道实际是存在的，当信号波形传输中失真较大时，我们在接收端不是对接收信号硬性判为0和1，而是根据最佳接收机额外给出的信道失真信息增加一个中间状态2（称为删除符号），采用特定的纠删编码，可有效的恢复出这个中间状态的正确取值。 如果信道干扰不是很严重的话， 和 的可能性要比 和 的可能性小得多，所以，假设 是较合理的。 单符号离散信道的数学模型 由此可见，一般单符号离散信道的转移概率可用信道转移矩阵P来表示： 关于信道矩阵的几点说明： 1、输入和输出符号的联合概率为 单符号离散信道的数学模型 其中 是信道传递概率，通常称为前向概率，它是由于噪声引起的，描述了信道噪声的特性。而 称为后向概率。也把 称为先验概率，而把 称为后验概率。 2、根据联合概率可得输出符号的概率 3、根据贝叶斯公式得后验概率 上式说明，在信道输出端接收到任一符号 一定是输入符号 中的一个输入信道。 3.2平均互信息及平均条件互信息 3.2.1信道疑义度 信源输入信道的熵—先验熵H(X) 信道中有干扰(噪声)存在，接收到符号 后输入的是什么符号仍存在有不确定性— 后验熵。 意义：后验熵是当信道接收端接收到输出 符号 后，关于输入符号的信息测度。 信道疑义度 后验熵在输出符号集Y范围内是个随机量，对后验熵在符号集Y中求数学期望，得条件熵为—信道疑义度(含糊度)： 意义：信道疑义度表示在输出端收到输出变量Y的符号后，对于输入端的变量X尚存在的平均不确定性（存在疑义）。这是由于信道干扰 （噪声）引起的。 信道疑义度的说明 对于一一对应信道，接收到输出Y后，对X的不确定性将完全消除，信道疑义度 。 一般情况下条件熵小于无条件熵，有 。说明接收到变量Y的所有符号后，关于输入变量X的平均不确定性将减少，即总能消除一些关于输入端X的不确定性，从而获得了一些信息。 3.2.2 平均互信息 通过信道传输消除了一些不确定性，获得了一定的信息。我们定义： 称为X和Y之间的平均互信息。 物理意义：它代表接收