离散信道容量剖析.pptVIP

* 信道模型 X：信道的输入消息集合，称为信道的输入空间， Y：信道的输出消息集合，称为信道的输出空间。 集合{P(y|x)}是描述信道特征的传输概率集合。 离散信道及其信道容量 第一节 信道的数学模型及分类 （1）无干扰信道：输入信号与输出信号有一一对应关系 第一节 信道的数学模型及分类 （2）有干扰无记忆信道：输入与输出无一一对应关系， 当前输出只与当前输入有关； 第一节 信道的数学模型及分类 (3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。 例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。 [例] 二元对称信道，[BSC，Binary Symmetrical Channel] 此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: p是单个符号传输发生错误的概率。 （1-p）则是无错误传输的概率。 转移矩阵: 1－p a1=0 0=b1 1－p a2=1 1=b2 p p 0 1 0 1 对称的特征？ * 由此可见，一般单符号离散信道的传递概率可以用矩阵表示: 第一节 信道的数学模型及分类 （1）联合概率 其中 称为前向概率，描述信道的噪声特性 称为后向概率， 先验概率， 后验概率。 （2）输出符号的概率 （3）后验概率 表明输出端收到任一符号，必定是输入端某一符号输入所致 第一节 信道的数学模型及分类 * 第二节 平均互信息 互信息: 信源发出某符号xi ，由于受噪声的随机干扰，在信道的输出端输出xi 某种变型yj，这个过程中信道所传送的信息量，即信宿收到yj 后，从yj 中获取关于xi 的信息量I(xi; yj )。 yj 对xi 的互信息量定义为后验概率与先验概率比值的对数。 平均互信息量 如果将信道的发送和接收端分别看成是两个“信源”，则两者之间的统计依赖关系，即信道输入和输出之间的统计依赖关系描述了信道的特性。 互信息量I(xi;yj)是定量研究信息流通问题的重要基础。它是一个随机变量，不能从整体上作为信道中信息流通的测度。 平均互信息量的定义 平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平均交互信息量/交互熵）。 X对Y的平均互信息定义为 H(XY)—联合熵。表示输入随机变量X，经信道传输到达信宿，输出随机 变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。 I(X;Y) —通信前、后整个系统不确定度减少量。在通信前把X和Y看成两 个相互独立的随机变量，整个系统的先验不确定度为X和Y的联合 熵H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传递 统计特性联系起来的、具有一定统计关联关系的两个随机变量， 这时整个系统的后验不确定度由H(XY)描述。 平均互信息与其他熵之间的关系 第二节 平均互信息 * 平均互信息与各类熵之间的关系： H(XY) H(X/Y) H(Y/X) H(X) H(Y) I(X;Y) H(X|Y) ——损失熵 H(Y|X) ——噪声熵 定理3.1 平均互信息I(X;Y)是信源概率分布P(X)的∩型凸函数 即对于一定的信道转移概率分布，总可以找到某一个先验概率分布的信源X，使平均交互信息量达到相应的最大值Imax，称此信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的Imax 第三节 平均互信息的特性 [例] 已知信源空间 　　 　 　信道特性如图所示，求在该信道上传输的平均互信息量I (X; Y)，疑义度H(X|Y)，噪声熵H(Y|X)和共熵H(XY)。 定理3.1 平均互信息I(X;Y)是信源概率分布P(X)的∩型凸函数 即对于一定的信道转移概率分布，总可以找到某一个先验概率分布的信源X，使平均交互信息量达到相应的最大值Imax，称