信道容量廖本科生要点.ppt

第一节 信道的数学模型及分类 3、单符号离散信道的数学模型 单符号离散信道的输入变量为X，取值于 输出变量为Y，取值于 。 并有条件概率 条件概率被称为信道的传递概率或转移概率。 一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y]来描述。 X Y 复习上一次课主要内容 一、信息传输率的定义 二、信道容量的定义 三、二元对称信道信道容量 四 、无噪无损信道（无噪一一对应信道）信道容量，r个输入，s个输出。 综合上述三种情况，若严格区分的话，凡损失熵等于零的信道称为无损信道；凡噪声熵等于零的信道称为无噪信道；而一一对应的无噪信道则为无噪无损信道。求这三类信道的信道容量C的问题，已经从互信息I(X;Y)的极值问题退化为求信息熵H(X)和H(Y)的极值问题。 离散信道中有一类特殊的信道，其特点是信道矩阵具有行对称性，利 用这个对称性我们可以简化信道容量的计算。 定义4.1 若信道矩阵中，每行都是第一行元素的不同排列，则称此 类信道为行对称信道。 书上的例子—P85 定义4.2 若信道矩阵中，每列都是第一列元素的不同排列，则称此 类信道为列对称信道。书上的例子—P85 定义4.3 如果信道矩阵共有m行，n列(一般m≠n)，若信道矩阵中每一行都是第一行元素的不同排列，而且信道矩阵中每一列也是第一列元素的重新排列，则称为对称信道。 定义4.4 若信道矩阵中，每行都是第一行元素的不同排列，每列并不 都是第一列元素的不同排列，但是可以按照信道矩阵的列将信道矩阵 划分成若干对称的子矩阵，则称这类信道为准对称信道。书上的例子—P85 定义4.5 若对称信道中输入符号和输出符号个数相同，且信道中总 的错误概率为p，对称地平均分配给r-1个输出符号，r为输入输出符号的个数，即信道矩阵为 则称此信道为强对称信道或均匀信道,它是对称离散信道的一种特例。该信道的各列之和也为1。 复习上一次课主要内容 一、有噪无损信道及其信道容量计算; 二、无噪有损信道及其信道容量计算; 三、对称信道及其信道容量计算; 四、准对称信道及其信道容量计算; 五、均匀信道及其信道容量计算。 一、有噪无损信道及其信道容量计算:一个输入对应多个输出 二、无噪有损信道及其信道容量计算：一个输出对应多个输入 三、对称信道及其信道容量计算: 如果信道矩阵共有m行，n列(一般m≠n)，若信道矩阵中每一行都是第一行元素的不同排列，而且信道矩阵中每一列也是第一列元素的重新排列，则称为对称信道。 四、准对称信道及其信道容量计算若信道矩阵中，每行都是第一行元素的不同排列，每列并不都是第一列元素的不同排列，但是可以按照信道矩阵的列将信道矩阵划分成若干对称的子矩阵，则称这类信道为准对称信道 五、均匀信道及其信道容量计算则称此信道为强对称信道或均匀信道,它是对称离散信道的一种特例。该信道的各列之和也为1。 二、讨论了信道容量的计算方法。 (1)无噪无损信道 (2)有噪无损信道 (3)无噪有损信道： (4)对称离散信道的信道容量 (5)准对称离散信道的信道容量 本章例子 二、讨论了信道容量的计算方法。 (1)无噪无损信道 (2)有噪无损信道 (3)无噪有损信道： (4)对称离散信道的信道容量 (5)准对称离散信道的信道容量 (6)一般信道的求解方法 (7)离散无记忆扩展信道及其信道容量 本章结束 期中考试 时间：下周三； 考试内容：第一章至第四章内容，书和上课的ppt内容； 考试题型：计算题，题量三到四个； 学生自带A4纸：数张； 建议期中考试成绩按20-30%的比例计入课程总成绩---学校教务处规定； 希望大家好好复习和准备。 复习 复习上一次课的主要内容 一、信道的分类 二、信道的数学模型 三、信道容量定义 二、单符号离散信道的数学模型 单符号离散信道的数学模型 单符号离散信道的输入变量为X，取值于 输出变量为Y，取值于 。 并有条件概率 条件概率被称为信道的传递概率或转移概率。 一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y]来描述。 X Y 复习第三章的内容，然后讲第四章的内容 变长编码定理 (Shannon第一定理) 例子 X的霍夫曼编码 第四节 信道容量及其一般计算方