信息论与编码复习研讨.pptx

信息论与编码;课程内容;绪 论;;信息论的奠基人：香农 信息时代的里程碑： 1948年 香农《通信的数学理论》(A mathematical theory of communication)。第一次提出了信息量的概念，并应用数理统计的方法来研究通信系统，创立了信息论。 三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 限失真信源编定理（第三极限定理） ;（二）信息、消息和信号的区别与联系;;（三）数字通信系统模型;信源、信宿和信道 ;信源编码器与译码器 ;信道编码器与译码器;信源与信息熵;;(一)自信息量;自信息量;I(xi)的特性： ⑴ I (xi)是非负值 ⑵ 当p(xi) = 1时，I(xi) = 0 ⑶ 当p(xi) = 0时，I(xi) =∞ ⑷ I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)＞p(x2)时，I (x1)＜I (x2) ⑸两个独立事件的联合自信息量等于它们分别的自信息量之和。;17;(二)离散信源熵;条件熵;;联合熵 联合熵是联合符号集合(X,Y)上的每个元素对(xi,yj)的自信息量的概率加权统计平均值。;H(XY)与H(X)、H(X/Y)之间的关系 ;(三)、互信息;平均互信息;(四)、平均互信息的性质;平均互信息与各类熵的关系 ;维拉图 ;（五）、数据处理定理 ;(六)、熵的性质;3.确定性 H(X)＝H(p1，p2，…，pn)≥0 只要信源符号中有一个符号出现概率为1,信源熵就等于零。 4.极值性(香农辅助定理) 对任意两个消息数相同的信源 ;5.最大熵定理 离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时即( pi＝1/M)熵最大。;信道与信道容量;;信道容量;1、无干扰离散信道;由;2）无噪有损信道 多个输入变成一个输出(n＞m);3）有噪无损信道 一个输入对应多个输出(n＜m) 接收到符号Y后,对发送的X符号是完全确定的。 噪声熵H(Y|X) ≠ 0 损失熵H(X|Y) = 0 ;2、对称DMC信道;对称DMC信道;对称离散信道的平均互信息为;对称DMC信道的容量： ;信息率失真函数 ;;1、失真函数;将所有的d(xi,yj)排列起来,用矩阵表示为:;2、平均失真 ;;3、试验信道;满足 条件的所有转移概率分布pij ,构成了一个信道集合;4、信息率失真函数R(D);PD是所有满足保真度准则的试验信道集合,因而可以在集合PD中寻找某一个信道pij,使I (X,Y)取极小值。 离散无记忆信源;R(D)的定义域 率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度D的最小和最大取值问题。 由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数,即 的下界是0。 R(D)=0意味着不需传输任何消息，D越大，直至无穷大都能满足这种情况。 [Dmin Dmax]为R(D)的定义域。（确界） ;Dmin 和R(Dmin)的计算 信源的最小平均失真度：;Dmax和R(Dmax) 选择所有满足R(D)＝0中D的最小值，定义为R(D)定义域的上限Dmax，即 由于I(X,Y) = 0的充要条件是X与Y统计独立,即：;平均互信息I(X;Y)： 信源的概率分布p(xi)的上凸函数。 信道传递概率p(yj|xi)的下凸函数。;信道容量： 假定信道固定的前提下,选择一种试验信源使信息传输率最大。 它所反映的是信道传输信息的能力,是信道可靠传送的最大信息传输率。 一旦找到了信道容量,它就与信源不再有关,而是信道特性的参量,随信道特性的变化而变化 不同的信道其信道容量不同。;信息率失真函数： 假定信源给定的情况下,用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。 它反映的是信源可以压缩的程度,是在满足一定失真度要求下信源可压缩的最低值。 率失真函数一旦找到,就与求极值过程中??择的试验信道不再有关,而只是信源特性的参量 不同的信源其R(D)不同。;;第五章 信源编码;;定长编码;定长编码定理;;变长编码定理;变长编码定理;;5.2.3 最佳变长编码;哈夫曼编码的步骤;;;;限失真信源编码定理;常用信源编码方法;第六章 信道编码;第六章 信道编码;信道编码定理;信道编码定理;;线性分组码;线性分组码的形成;;;空间构成;校验矩阵;;完备码;循环码 ;循环码生成多项式;循环码的校验多项式;卷积码;卷积码的描述;;维特比译码;第七章 加密编码;密码分类;