信息论与编码 曹雪芹 chap3.pptVIP

信道与信道容量 第三章 3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量 信道 信道：信息传输的通道 在通信中,信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律, 通信技术必须研究信号在这些信道中传输时的特性 信息论不研究信号在信道中传输的物理过程,并假定信道的传输特性已知,这样信息论就可以抽象地将信道用下图所示的模型来描述。 3.1.1 信道分类 按输入/输出信号在幅度和时间上的取值: 离散信道： 输入和输出的随机序列取值都是离散的信道 连续信道： 输入和输出的随机序列取值都是连续的信道 半离散(半连续)信道： 输入变量取值离散而输出变量取值连续 输入变量取值连续而输出变量取值离散 波形信道： 信道的输入和输出都是一些时间上连续的随机信号。 按其输入/输出信号在幅度和时间上的取值是离散或连续来划分 信道分类 按输入/输出之间关系的记忆性来划分： 无记忆信道： 信道的输出只与信道该时刻的输入有关,而与其他时刻的输入无关 有无记忆信道： 信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关 信道分类 按输入／输出信号之间的关系是否是确定关系: 无干扰信道： 输入/输出符号之间有确定的一一对应关系 有干扰信道： 输入/输出之间关系是一种统计依存的关系 输入/输出的统计关系： 离散无记忆信道： 用条件概率矩阵来描述。 离散有记忆信道： 可像有记忆信源中那样引入状态的概念。 3.1.2 信道参数 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm} 信道转移概率矩阵p(Y|X)： 描述输入/输出的统计依赖关系,反映信道统计关系 无干扰(无噪声)信道 无干扰(无噪声)信道 信道的输出信号Y与输入信号X之间有确定的关系Y=f (X),已知X后就确知Y 转移概率: 有干扰无记忆信道 有干扰无记忆信道 信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足: 离散无记忆信道DMC 信道输入是n元符号 X∈{a1, a2, …, an} 信道输出是m元符号 Y∈{b1, b2, …, bm} 转移矩阵 转移概率矩阵 P:转移概率矩阵 已知X,信道输出Y表现出来的统计特性 完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率 反信道转移概率矩阵 已知Y,信道输入X表现出来的统计特性 二进制离散信道BSC 二进制离散信道BSC 输入符号X取值{0,1}； 输出符号Y取值{0,1} 很重要的一种特殊信道 信道转移概率： p(0|0) = 1－p p(1|1) = 1－p p(0|1) = p p(1|0) = p 二元删除信道BEC 二元删除信道BEC 输入符号X取值{0,1}； 输出符号Y取值{0,1,2} 转移矩阵 4.2 离散单符号信道及其信道容量 4.2.1 离散单符号信道的数学模型 信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道。 设离散单符号信道的输入随机变量为 ，输出随机变量为 ，由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用传递概率 来描述： 一般离散单符号信道的概率关系： （1）输入输出随机变量的联合概率分布为 则有 其中 是信道传递概率，即输入为 ，通过信道传输输出 的概率，通常称为前向概率。它是由于信道噪声引起的，所通常用它描述信道噪声的特性。而 是已知信道输出符号 ，输入符号为 的概率，称为后向概率。有时把 称为输入符号的先验概率。而对应的把 称为输入符号的后验概率。 （2）由全概率公式，可从先验概率和信道传递概率求输出符号的概率： 平均互信息 是接收到输出符号集 后所获得的关于输入符号集 的信息量。 信宿所消除的关于信源的不确定性，也就是获得的关于信源的信息为 ，它是