信息论及编码第三章-复习.pptVIP

3.1 信道的分类和表示参数 (1) 一般信道的数学模型 (2) 信道的分类 (3) 实际的信道 (4) 信道的参数 (1)一般信道的数学模型 (1)一般信道的数学模型 (2)信道的分类 根据输入输出随机信号的特点分类(连续/离散） 根据输入输出随机变量个数的多少分类（单符号/多符号） 根据输入输出个数分类（单用户/多用户） 根据信道上有无干扰分类 根据信道有无记忆特性分类 根据输入和输出之间有无反馈 (3) 实际的信道 实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。 一个实际信道可同时具有多种属性。 最简单的信道是单符号离散信道。 (4) 信道参数 二进制离散信道模型 离散无记忆信道 离散输入、连续输出信道 波形信道 二进制离散信道模型 a）二进制离散信道模型的组成 二进制离散信道模型由一个允许输入值的集合 X＝{0,1} 和可能输出值的集合Y={0,1}，以及一组表示输入、输出关系的条件概率（转移概率）组成。 b）二进制对称信道 （简称为 BSC信道 ） B．离散无记忆信道 （a）离散无记忆信道（DMC信道） 联合条件概率 C．离散输入、连续输出信道 离散时间无记忆信道 假设信道输入符号选自一个有限的、离散的输入字符集X={a1，a2，…， an}，而信道输出未经量化（m－》∞），这时的译码器输出可以是实轴上的任意值，即y={- ∞ ，∞}。这样的信道模型为离散时间无记忆信道。 说明： 它的特性由离散输入X、连续输出Y以及一组条件概率密度函数 pY(y/X=ai), i=1,2,…,n来决定。 这类信道中最重要的一种是加性高斯白噪声（AWGN）信道，对它而言 Y=X＋G , 式中G是一个零均值、方差为 的高斯随机变量，X=ai，i=1，2，…，n。 当 X给定后，Y是一个均值为ai、方差 为的高斯随机变量 D．波形信道 波形信道是这样一种信道模型：其输入是模拟波形，其输出也是模拟波形。假设输入该信道的是带限信号x（t），相应的输出是y（t），那么 y（t）=x（t）＋n（t） 这里n（t）代表加性噪声过程的一个样本函数。 3.2离散单个符号信道及其容量 引言： 信道容量定义 3.2.1 无干扰离散信道 3.2.2 对称DMC信道 3.2.3 准对称DMC信道 3.3.4 一般DMC信道 信道的信息传输率 信道的信息传输率：就是平均互信息 R=I(X;Y)。 I(X;Y)是信源无条件概率p(ai)和信道转移概率p(bj /ai)的二元函数： 当信道特性p(bj /ai)固定后，I(X;Y)随信源概率分布p(ai) 的变化而变化。 由平均互信息的性质已知，I(X;Y)是p (ai) 的上凸函数，因此总能找到一种概率分布 p (ai) （即某一种信源），使信道所能传送的信息率为最大。 信道容量 信道容量C：在信道中最大的信息传输率。 单位时间的信道容量Ct：若信道平均传输一个符号需要t 秒钟，则单位时间的信道容量为： Ct实际是信道的最大信息传输速率。 3.2.1 无干扰离散信道 ① 具有一一对应关系的无噪信道 这种信道如右图所示 I(X;Y)=H(X)=H(Y)。 当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量 ② 具有扩展性能的无噪信道 此信道的举例如右图所示。 nm，输入X的符号集个数小于输出Y的符号集个数。 信道疑义度 H(X/Y)=0， I(X;Y)= H(X) -H(X/Y)= H(X) 。 信道容量为： ③ 具有归并性能的无噪信道 这种信道如下图所示。 nm，输入X的符号集个数大于输出Y的符号集个数。 信道噪声熵 H(Y/X)=0。 信道容量为： 3.2.2 对称DMC信道 对称信道矩阵，它的每一行和每一列都是同一集合各个元素的不同排列。 可当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量： 3.2.3 准对称DMC信道 准对称离散信道定义： 一个n行m列单符号离散信道矩阵[P]的行可排列，列不可排列。但是矩阵中的m列可分成S个不相交的