(信息论与编码.docxVIP

第一章 1、信息,信号,消息的区别 信息：是事物运动状态或存在方式的不确定性的描述消息是信息的载体，信号是消息的运载工具。2、1948年以“通信的数学理论”（A mathematical theory of communication）为题公开发表，标志着信息论的正式诞生。信息论创始人：C.E.Shannon(香农)第二章1、自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。单位：比特(2为底)、奈特、笛特（哈特）2、自信息量的性质（1）是非负值（2）=1时，=0，=1说明该事件是必然事件。（3）=0时，=，=0说明该事件是不可能事件。（4）是的单调递减函数。3、信源熵：各离散消息自信息量的数学期望，即信源的平均信息量。 单位：比特/符号。（底数不同，单位不同）信源的信息熵；香农熵；无条件熵；熵函数；熵。4、信源熵与信息量的比较熵信息量有限值可无穷大确定值一般为随机量与信源是否输出有关接收后才得到信息信源的平均不确定度消除不定度得到信息（书14页例2.2.2）5、信源熵的意义（含义）:（1）信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。（2）信源熵H(X)表示信源输出前，信源的平均不确定度。（3）信源熵H(X)反映了变量X的随机性。6、条件熵：（书15页 例2.2.3）7、联合熵： 8、信源熵,条件熵,联合熵三者之间的关系:H(XY)= H(X)＋H(Y/X) H(XY)= H(Y)＋H(X/Y) 条件熵小于无条件熵，H(Y/X)≤H(Y)。当且仅当y和x相互独立p(y/x)=p(y)，H(Y/X)=H(Y)。 两个条件下的条件熵小于一个条件下的条件熵H(Z/X,Y)≤H(Z/Y)。当且仅当p(z/x,y)=p(z/y)时取等号。联合熵小于信源熵之和， H(YX)≤H(Y)+H(X) 当两个集合相互独立时得联合熵的最大值 H(XY)max=H(X)+H(Y) 9、信息熵的基本性质:（1）非负性；（2）确定性；（3）对称性；（4）扩展性（5）可加性 ( H(XY) = H(X)+ H(Y) X和Y独立 H（XY）=H（X）+ H（Y/X） H（XY）=H（Y）+ H（X/Y） )（6）（重点）极值性(最大离散熵定理):信源中包含n个不同离散消息时，信源熵H(X)有 当且仅当X中各个消息出现的概率全相等时，上式取等号。（7）条件熵不大于无条件熵；（8）上凸性10、多符号的离散无记忆信源就是把单符号进行N次扩展, 扩展N次后，每个符号的宽度为N序列信息的熵为（书22页 例2.3.1 ）11、信源的冗余度 极限熵 实际上是一个条件熵对离散信源，信源符号等概率分布时熵最大，其平均自信息量记为: H0＝log q由于信源符号间的依赖关系使信源的熵减小，使下式成立：信源符号之间依赖关系越强，每个符导提供的平均信息量越小。为此，引入信源的冗余度来衡量信源的相关程度(有时也称为多余度)。课后习题： 2.6、无条件概率、条件概率、联合概率之间的关系（11页） 第三章1、通信系统的模型：（33页 图3.1.1）2、信源编码的目的是提高有效性，信道编码的目的是提高可靠性3、信源编码的分类：（第三个、第四个比较重要）(1) 二元码和r元码 (2) 基本源编码和N次扩展源编码(3) 无失真编码 和有失真编码数学上称为非奇异码和奇异码，若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。 (4)惟一可译码和非惟一可译码唯一可译和非唯一可译：若任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号序列，则此码称为惟一可译码（或称单义可译码）。否则就称为非惟一可译码或非单义可译码。(5) 定长码和变长码4、唯一可译码可分为即时码和延时码 即时码：如果一个码的任何一个码字都不是其他码字的前缀，则称该码为前缀码、异前置码、异字头码、逗点码，也称为即时码克拉夫特不等式r元长度为li的异前置码存在的充要条件是Kraft不等式是惟一可译码存在的充要条件， 必要性表现在如果码是惟一可译码，则必定满足Kraft不等式;充分性表现在如果满足Kraft不等式，则这种码长的惟一可译码一定存在，但并不表示所有满足Kraft不等式的码一定是惟一可译码。因此，克拉夫特不等式是惟一可译码存在的充要条件，而不是惟一可译码的充要条件。如果一个码是即时码，它一定满足克拉夫特不等式如果一个码满足这个不等式，它不一定是即时码奇异码与唯一可译之间的关系：奇异码一定非唯一可译唯一可译码与非奇异之间的关系：唯一可译码一定是非奇异码，但非奇异码不一定唯一可译5、香农第一定理：无失真变长信源编码定理，即香农第一定理。6、香农编码（书38页）7、费诺编码（书39页）8、赫夫曼编码（书40页）9、这三种码中编码方法唯一的是：香农