信息论总复习资料.ppt

课程内容 信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 限失真信源编码定理—香农第三定理 信源编码 信道编码 引 论 第一章 主要内容： 1、信息论的奠基人香农及其重要著作； 2、信息、消息、信号的区别和联系 3、通信系统的模型各主要功能模块（包括信源、信道、信宿、信源编译码器、信道编译码器）及其作用 信息论的奠基人：香农 信息时代的里程碑： 1948年 香农《通信的数学理论》(A mathematical theory of communication)。第一次提出了信息量的概念，并应用数理统计的方法来研究通信系统，创立了信息论。 三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 限失真信源编定理（第三极限定理） （二）信息、消息和信号的区别与联系 信息 是事物运动状态或存在方式。 同一信息，可以采用不同的信号形式 (比如文字、语言、图象等）来载荷； 同一信号形式，比如 “0”与 “1”可以表达不同形式的信息，比如无与有、断与通、低与高 (电平) 等。 在通信系统中，实际传输的是信号，但本质内容的是信息。信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。 （三）数字通信系统模型 信源、信宿和信道 信源：向通信系统提供消息u的人和机器。发送消息的源 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信道：传输信息的物理媒介 信源编码器与译码器 信源编码器 符号转换； 压缩信源的冗余度,提高通信系统传输效率； 包括无失真信源编码、限失真信源编码。 信源译码器 把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程 信道编码器与译码器 信道编码 提高信息传送的可靠性。 在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力 信道译码器 具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。 信息量和熵 第二章 定义 性质 （1）对称性：I(xi; yj)=I(yj; xi) （2）当rij=qiwj时I(xi; yj)=0。（当两个事件相互独立时，互信息量为0）。 （3）当rijqiwj时I(xi; yj)0，当rijqiwj时I(xi; yj)0。（当两个事件正相关时，互信息量为正值，当两个事件负相关时，互信息量为负值）。 故：两个事件之间的互信息量可正、可负，也可能为0。 （二）平均互信息量I(X; Y) 离散型 定义 5、数据处理定理：对于以下给定的系统串联有 I(X; Y)≤I(X; Z)。信息不增原理 含义：串联的系统越多，两端的平均互信息量越小。 定义 性质 （1）h(xi)≥0。 （2）qi越小，h(xi)越大。 （3）I(xi; yj)≤min{h(xi)，h(yj)}，即互信息量不超过各自的自信息量。 定义 性质 熵H(X) 1、 对称性：H(X)与事件{xi}的具体形式无关，仅仅依赖于概率向量{qi}。 而且H(X)与概率向量{qi}的分量排列顺序无关。 2、非负性：H(X)≥0; H(X|Y)≥0；H(Y|X)≥0；H(X,Y)≥0。 3、确定性：当概率向量{qi}的一个分量为1时（此时其它分量均为0），H(X)=0。（这就是说，当随机变量X实际上是个常量时，不含有任何信息量）。 4、扩展性（可忽略性）：当随机变量X的某个事件的概率很小时，该事件对熵的贡献可以忽略不计。 5、可加性： H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)。 因此，H(X,Y)≥H(X)； H(X,Y)≥H(Y)。 6、极值性（最大离散熵定理）：H(X)≤logaK。当q1=q2=…=qK=1/K时，才有 H(X)=logaK。 （五）互信息和微分熵 连续信源 互信息量 平均互信息量 微分熵 信源编码——离散信源无失真编码 第三章 香农费诺编码 哈夫曼编码 信道及其容量 第四章 一、信道分类 信道是指信息传输的通道。包括空间传输和时间传输。空间传输针对我们常见的情形，例如各种物理通道：电缆、光缆、自由空间等。时间传输是指将信息保存，然后在以后读取。 信道可以看成一个变换器，它将输入事件x变换成输出事件y。 输入事件x通过信道后变换成输出事件y，可以采用条件概率分布函数p(y｜x)描述。 求信道容量的方法 当信道特性 p(yj|xi) 固定后，I(X;Y)随信源概率分布 p(xi)的变化而变化。 调整 p(xi)，在接收端就能获得不同的信息量。由平均互信