信息论与编码复习概论.pptxVIP

信息论与编码;课程内容;绪 论;;信息论的奠基人：香农 信息时代的里程碑： 1948年 香农《通信的数学理论》(A mathematical theory of communication)。第一次提出了信息量的概念，并应用数理统计的方法来研究通信系统，创立了信息论。 三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 限失真信源编定理（第三极限定理） ;（二）信息、消息和信号的区别与联系;;（三）数字通信系统模型;信源、信宿和信道 ;信源编码器与译码器 ;信道编码器与译码器;信源与信息熵;;(一)自信息量;自信息量;I(xi)的特性： ⑴ I (xi)是非负值 ⑵ 当p(xi) = 1时，I(xi) = 0 ⑶ 当p(xi) = 0时，I(xi) =∞ ⑷ I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)＞p(x2)时，I (x1)＜I (x2) ⑸两个独立事件的联合自信息量等于它们分别的自信息量之和。;17;(二)离散信源熵;条件熵;;联合熵 联合熵是联合符号集合(X,Y)上的每个元素对(xi,yj)的自信息量的概率加权统计平均值。;H(XY)与H(X)、H(X/Y)之间的关系 ;(三)、互信息;平均互信息;(四)、平均互信息的性质;平均互信息与各类熵的关系 ;维拉图 ;（五）、数据处理定理 ;(六)