PPT信息论与编码-第3章 离散信道.ppt

3（-10:55），4（-11:50） 第三章 离散信道 3.1 信道的数学模型及分类 3.2 信道疑义度及平均互信息 3.3 平均互信息的特性 3.4 离散无记忆的扩展信道 3.5 信道容量及其迭代算法 3.6 信源与信道的匹配 引言 信道是通信系统的重要部分, 其任务是以信号方式传输信息和存储信息. 研究信道就是研究信道中能够传送或存储的最大信息量, 即信道容量问题. 首先讨论离散信道的统计特性和数学模型, 然后定量地研究信道传输的平均互信息及其性质, 并导出信道容量及其计算方法. 只研究一个输入和一个输出端的信道, 即单用户信道; 以无记忆、无反馈、固定参数的离散信道为重点. 3.1 信源的数学模型及分类 实际的通信系统中, 信道的种类很多, 包含的设备也各式各样. 有线: 明线、电缆、波导、光缆 无线: 长波、中波、短波、超短波、光波 信息论不研究 信号在这些信道中传输的物理过程; 信号在信道中传输或存储过程所遵循的不同物理规律. 信息论将各种不同的物理信道抽象成统一的数学模型, 只研究信息的传输和存储问题. 3.1 信源的数学模型及分类 从信息传输的角度来考虑, 信道可以分成以下几种分类: 1、根据信道的用户多少; 2、根据输入和输出信号的特点; 3、根据信道的统计特性(条件概率); ∵噪声和干扰使信号通过信道传输后产生错误和失真. ∴信道输入和输出信号是统计依赖关系, 而一般不是确定的函数关系. 1、根据信道的用户多少, 信道可分: 两端(单用户)信道: 它是只有一个输入端和一个输出端的单向通信的信道. 多端(多用户)信道: 它是在输入端或输出端中至少有一端有二个以上的用户, 并且还可以双向通信的信道。实际通信系统, 如计算机通信、卫星通信、广播通信、移动通信等. 2、根据输入和输出信号的特点, 信道可分为: 离散信道: 输入、输出变量的取值都是离散的. 连续信道: 输入、输出变量的取值都是连续的. 半离散或半连续信道: 输入变量是离散的且输出变量是连续的, 或者相反. 2、根据输入和输出信号的特点, 信道可分为: 波形信道: 输入和输出的随机变量取值都是连续的, 且随时间连续变化, 可用随机过程来描述. 实际信道的是带宽受限的, 所以输入、输出信号可分解成时间离散的随机序列。 随机序列中随机变量的取值可以是可数的离散值, 也可是不可数的连续值. 因此, 波形信道可分解成离散信道、连续信道和半离散或半连续信道来研究。 3、根据信道输入端和输出端的关联, 可以分为: 无反馈信道. 信道输出端无信号反馈到输入端, 即输出端信号对输入端信号无影响、无作用. 反馈信道. 信道输出端的信号反馈到输入端, 对输入端的信号起作用, 影响输入端信号发生变化. 4、根据信道的参数(统计特性)与时间的关系, 信道又可以分为: 固定参数信道. 信道的参数(统计特性)不随时间变化而改变. 时变参数信道. 信道的参数(统计特性)随时间变化而改变. 离散信道 离散信道的数学模型一般如图3.1所示. 信号用随机矢量表示. 输入信号X=(X1,…,Xi,…,XN), 输出信号Y=(Y1,…,Yi,…,YN), 其中i=1,…,N表示时间或空间的离散值. 随机变量Xi和Yi分别取值于符号集A=(a1,…,ar)和B=(b1,…,bs), 其中r不一定等于s. 条件概率p(y|x)描述了输入和输出信号之间的统计依赖关系, 反映了信道的统计特性. 3、根据信道统计特性, 离散信道可分成三种情况: (1) 无干扰（无噪）信道. 信道中没有随机干扰或者干扰很小, 输出信号Y与输入信号X有确定的对应关系. 即y=f(x), 且 (2) 有干扰无记忆信道. 实际信道中常有干扰(噪声), 输出与输入之间无确定关系。信道输入和输出之间的条件概率服从一般的概率分布。 输出符号统计依赖于对应时刻的输入符号, 而与非对应时刻的输入和输出符号无关, 则称无记忆信道. 其条件概率满足 对任意N值和任意x、y的取值，上式成立。 (3) 有干扰有记忆信道。 这是更一般的情况, 既有干扰(噪声)又有记忆. 实际信道往往是这种类型. 例如码字干扰就是由于信道滤波使频率特性不理想造成的. 有记忆信道: 输出符号不但与对应时刻的输入符号有关, 还与以前时刻输入及输出符号有关, 其信道条件概率p(y|x)不再满足式(3.2)。 (3) 有干扰有记忆信道。 处理这类有记忆信道时 最直观的方法是把记忆较强的N个符号当作一个矢量符号来处理, 而各矢量符号之间认为是无记忆的, 转化成无记忆信道的问题. 另一种方法是把p(y|x)看成马尔可夫链的形式, 把信道的输入和输出序列看成为信道的状态. 那么, 信道的统计特性可用p(ynsn|xnsn-1)来描述. 单