信息论第四章(叶中行).ppt

0 0 1 1 q 1-q 1 X Y 4.2.2 信道容量的迭代算法 简单的信道容量：用拉格朗日法求解 复杂的信道容量：求解极值比较困难，必须借助数值方法。 此处介绍由本单(Arimoto)和布莱赫特(Blahut) 1972年分别独立给出的迭代算法。 计算信道容量的迭代算法： §4.3 信道编码理论 §4.4 带反馈的信道模型 信道 编码器E 信道 Q(y|x) 信道 译码器D 无噪反馈 有反馈信道模型 无反馈信道：输出端信号不反馈达到输入端 带反馈信道：输出信号通过一定途径反馈到输入端 联合信源——信道通信模型 信道 编码器 信道 Q(y|x) 信道 译码器 信源 编码器 信源 译码器 §4.5 联合信源——信道编码定理 §4.6 线性分组码 分组码是前向纠错码，它可以在无需重新发送的情况下检测出有限个错码，并加以纠正 一个具有q个元素的有限数域称为Galois场，记为GF(q) 信息组 码字 信息组 码字 000 0000000 011 0111010 001 0011101 101 1010011 010 0100111 110 1101001 100 1001110 111 1110100 任何一个码字可以表示为生成矩阵G的行向量gi的线性组合 信道定义 信道在通信系统中作用 研究信道的哪些问题？ 第4章 数据可靠传输和信道编码 §4.1 离散无记忆信道和信道容量 §4.2 信道容量的计算 §4.3 信道编码理论 §4.4 带反馈的信道模型 §4.5 联合信源——信道编码定理 §4.6 线性分组码 一.信道分类 2.根据用户数量分类，分为单用户信道和多用户信道 3.根据信道输入端和输出端关系，分为无反馈信道和反馈信道 §4.1 数据可靠传输和信道编码 1.根据传输媒介的类型划分 4.根据信道的物理性质，分为固定参数信道和变参数信道 5.根据输入输出信号的特点，分为离散信道、连续信道、半离散半连续信道、波形信道 6. 根据信道输入输出随机变量个数的多少，分为单符号信道和多符号信道 7. 根据信道有无干扰，分为有干扰信道和无干扰信道 8. 根据信道有无记忆性，分为有记忆信道和无记忆信道 9. 根据信道中受噪声干扰的不同，分为随机差错信道和突发信道 二、离散信道的数学模型 信道 编码器E 信道 Q(y|x) 信道 译码器D 信道通信模型框图 信道Q(y|x) X Y 干扰 狭义信道模型 信道表示方法 衡量一个信息传递系统的好坏，有两个指标 a.数量指标：信息传输率R b.质量指标：平均错误率Pe 信道编码的目的： 使译码错误概率Pe在一定限制下使码率R达到最大 三点说明： (1)信道容量C是R的上限 (2)使得I(X;Y)达到最大值的输入分布称为最佳输入分布 (3)I(X;Y)与输入概率分布和转移概率两者有关 三、特殊单符号离散信道的信道容量 1.无噪信道 a.具有一一对应关系的无噪信道 信道容量 b.具有扩展性能的无噪信道 c.具有归并性能的无噪信道 结论：无噪信道的信道容量C只决定于信道的输入符号数n或输出符号数m，与信源无关 2.对称信道 二进对称信道 另一种对称信道定义 推广：强对称信道 准对称信道定义 如果转移概率矩阵P是输入对称矩阵(行可排列)而输出不对称(列不可排列)，即转移概率矩阵P的每一行都包含同样的元素，而各列的元素可以不同，称该信道为准对称DMC信道 0 0 0 0 定义4.1.4(弱对称信道) 如果转移概率矩阵的每一行都是其他行的置换，而每列的元素之和相等，称为弱对称信道 其信道容量为 X Z Y mod k §4.2 信道容量的计算 拉格朗日乘子法 信道容量的迭代算法 注意：信道容量的计算实际上是求解一个有约束的凸函数的条件极值问题。 4.2.1 拉格朗日乘子法