信息论4-1.ppt

第四章 数据可靠传输及信道编码 * * 信息论基础课件之14 在一般的广义通信系统中，信道是很重要的一部分，信道是信息传输的通道（如电缆、光纤、电波传播的介质等物理通道，以及磁盘、光盘等），其任务是以信号方式传输信息和储存信息，在信息论中只研究信号在这些信道中传输的特性及在此基础上信息的可靠传输问题，而并不研究这些特性如何获得的(即研究信道中理论上能够传输和存储的最大信息量，即信道容量问题) 。 一、信道模型 信道作为传输信息的媒质或通道，有输入端和输出端，输入端接收任一经压缩的信源消息，输出端输出受扰的输入消息，由于干扰的存在，一输入事件总以一定的概率变成各种可能的输出事件，这样信道可以看作一个变换器，如图，它将输入事件x变成输出事件y，x变成y用 表示。 二、信道的分类 1. 据输入输出空间连续与否分类 波形信道(模拟信道) y(t) x(t) 连续信道 连续 连续 离散 连续 半离散信道(半连续信道) 连续 离散 离散信道(数字信道) 离散 离散 信道名称 输出空间 输入空间 ①两端信道(两用户信道)：只有一个输入端和一个输出端的单向通信的信道. 2. 据信道输入输出集合的个数分类 ②多端信道(多用户信道)：双向通信，3个或更多用户之间相互通信的信道. ①无噪信道(无扰信道)：指信道上没有噪声干扰. 3. 据信道是否存在干扰来分类 ②有噪信道(无扰信道):指信道上存在噪声 . ①无记忆信道：信道的输出只与信道该时刻的输入有关而与其他时刻的输入无关 . 4.据信道的统计特性来分类 ②有记忆信道(无扰信道) ：信道某一时刻输出的消息，不仅与该时刻的输入消息有关，而且还与前面时刻的输入消息有关。 ①恒参信道：信道的参数(统计特性)不随时间而变化 . 5. 根据信道的参数与时间关系来划分 ②随参信道：信道的参数(统计特性)随时间而变化. ①恒参信道 6.根据信道的统计特性对输入端是否有对称性分类 ②随参信道 §4.1 离散无记忆信道和信道容量 §4.2 信道容量的计算 §4.3 信道编码理论 §4.4 带反馈的信道模型 §4.5 联合信源——信道编码定理 §4.6 线性分组码 一、离散无记忆信道 1. 信道通信模型 ① 信道的表示 信道的特性可由条件概率(或转移概率)分布 表示，故信道记为： ， 分别称为信道的输入字母集和输出字母集，其中： ② ， ，f为编码函数，g为译码函数，信道编码(f，g)； ③ 信道编码(f，g)的编码速率： ④ 信道编码的错误概率： 信道编码的目的是要对 ，使 ，即使 任意小。 2.离散无记忆信道 定义：若离散信道的转移概率满足： 其中， 不依赖于i，则称信道 为离散无记忆信道，简称DMC. 注 ① 信道转移概率分布表示成矩阵形式 ② 信道转移概率图 二、信道容量 1. 定义 2. 几个简单信道的信道容量 (1) 二进无噪信道 例1：设信道 ，其信道转移概率矩阵为： 则其信道转移概率图为： 计算其信道容量。 (2) 对称信道 若信道矩阵中，每行元素都是第一行元素的不同排列，每列元素都是第一列元素的不同排列，则这类信道称为对称信道。 ① 定义 ② 对称信道的信道容量 设对称信道的每一行记为 ，则： 其中， 达到信道容量C的输出分布为： 则对称信道的信道容量为： (3) 弱对称信道与准对称信道 ① 定义 若信道矩阵P的列可以划分成若干个互不相交的子集Bk，即 ， ，由Bk为列组成的矩阵Qk是对称信道矩阵，则称P对应的信道为准对称信道。 例如： 准对称信道的另一种表述：若信道矩阵中，每一行都是第一行元素的不同排列，每列并不都是第一列元素的不同排列，但可以按照信道矩阵的列将信道矩阵划分成若干对称的子矩阵，则称这类信道为准对称矩阵。 ② 弱对称信道的信道容量 设弱对称信道的每一行记为 ，则弱对称信道的信道容量为： 其中，