信息论与编码第一讲.pptVIP

条件熵条件熵是联合空间XY上的条件自信息量的概率加权平均值。若给定x条件下y的条件自信息量为I(y|x)，则它在XY集合上的概率加权平均值H(Y|X)定义为：H(Y|X)为条件熵，也可直接定义为：共熵共熵（又称联合熵）是联合空间XY上的每个元素对xy的自信息量的概率加权平均值，定义为：与信源熵和条件熵的关系联合熵与条件熵的关系全概率公式所以H(XY)=H(X)＋H(Y|X)同理H(XY)=H(Y)＋H(X|Y)而当X、Y是统计独立的两个信源：H(XY)=H(X)＋H(Y)3.4平均互信息量XY联合集上的平均条件互信息量1定理2.52XY联合集上的条件互信息量满足3当且仅当X集合中的各x都与yi独立时，等号成立4假设5通过有扰信道的接收符号6任意一个可能被传输的消息7结论：有扰信道中接收到的符号所提供的关于传输消息的平均信息量总是非负量。8平均互信息量：平均条件互信息量在整个Y集合上的概率加权平均值。特性互易性与熵和条件熵的关系与熵和共熵的关系条件熵可看作由于信道噪声而损失的信息量（损失熵）也可以看作由于信道噪声所造成的对信源消息的平均不确定性疑义度条件熵可看作唯一地确定信道噪声所需要的平均信息量（散布度）噪声熵无扰信道噪声很大的信道四、信道及其容量4.14.2离散信道可分成：特殊信道无噪无损信道有噪无损信道无噪有损信道有干扰无记忆信道有干扰有记忆信道4.3信道容量计算特殊信道信道名称信道特征信息传输情况全损信道P(xy)=P(x)P(y)H(X/Y)=H(X)I(X;Y)=0无损无噪信道P(x/y)=0or1且P(y/x)=0or1H(X/Y)=H(Y/X)=0I(X;Y)=H(X)=H(Y)无损信道P(x/y)=0or1H(X/Y)=0I(X;Y)=H(X)无噪信道P(y/x)=0or1H(Y/X)=0I(X;Y)=H(Y)对称DMC信道对称性:每一行都是由同一集{p1,p2,…pm}的诸元素不同排列组成——输入对称每一列都是由集{q1,q2,…qn}的诸元素不同排列组成——输出对称满足对称性,所对应的信道是对称离散信道。0102不具有对称性,因而所对应的信通不是对称离散信道。信道矩阵此信道称为强对称信道(均匀信道)信道矩阵中各列之和也等于1若输入符号和输出符号个数相同,都等于n,且信道矩阵为对称离散信道的平均互信息为对称DMC信道的容量上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量{p1,p2,…pm}和输出符号集的个数m有关。强对称信道的信道容量：4.4BSC信道容量设二进制对称信道的输入概率空间信道矩阵：当p固定时,I(X,Y)是ω的型上凸函数。BSC信道容量I(XY)ω1-H(p)I(X,Y)对ω存在一个极大值。一个输入符号对应一个以上的输出符号，信道有噪声，噪声熵不为0；输出符号对应一个以上的输入符号，接收到某个符号，不能肯定得判断对应的输入是什么，信道疑义度不为0。*第一讲主讲人：刘丹平联系方式：课程介绍信息概念、信息论信息的度量信道及其容量DCAB主要内容信息论与信道编码课程介绍信息的统计度量，信源，信道和信道容量。香农信息论的基本理论近世代数基础；信道编码定理；线性分组码、循环码、卷积码、Turbo码的编、译码方法。编码的理论和实现原理信息度量、信源描述、信道容量近世代数基础、线性分组码、循环码、卷积码、Turbo码的编、译码方法。教学重点教学目标第一讲：信息论（复习）01第二讲：有噪信道编码理论、线性分组码（讲述和讨论）02第三讲：近世代数基础、循环码（讲述和讨论）03第四讲：BCH码、RS码（讲述和讨论）04第五讲：卷积码编码（讲述和讨论）05第六讲：卷积码译码（讲述和讨论）06第七讲：Turbo码（讲述和讨论）07教学计划3241纠错码——原理与方法（2001），西安