李卫东《通信原理》第七章II.pptVIP

第七章 信源和信源编码;什么是信源？;什么是信息？ ;信源类型;单消息信源的描述;序列信源;离散符号序列信源的统计特性;离散有记忆序列信源 ;一个消息，包涵的信息量是大还是小？如何判断？ 消息的不确定性： 发生概率小的消息： 发生概率大的消息： 结论：概率小的消息，包涵的信息量大 ;符号出现的概率越小，包含的信息量越大。即;两个单符号信源： 条件自信息量 联合自信息量;信源的整体情况;熵 ;信息熵的性质 ;自信息I(x)：一个消息包涵的信息量，不确定性程度的数学描述，统计量。 信息熵H(X)：信源的特性，信源的全部符号的不确定性程度的数学期望。 ;联合熵;条件熵;联合熵和条件熵;联合熵和条件熵的性质;证明：;信源的冗余度;极限熵;极限熵最大熵;信源 效率相对剩余度;英语字母26个，加上一个空格，共27个符号。 英语信源的最大熵(等概率) H0=log227=4.76(比特/符号);27个符号出现的概率统计结果。;英语：字母之间的依赖性;英语信源近似看做1阶，2阶，…∞阶马尔可夫信源，熵为 H2=3.32(比特/符号) H3=3.1(比特/符号) 英语信源近似成2阶马尔可夫信源，某个输出： IANKS_CAN_OU_ANG_RLER_THTTED_OF_TO_SHOR_OF_TO_HAVEMEM_A_I_MAND_AND_BUT_WHISS_ITABLY_THERVEREER… 单词中间的依赖关系 考虑所有依赖关系，真实英语：H∞ =1.4比特/符号; 结论;通信过程中接收机获得的信息量;互信息I(X;Y);互信息I(X;Y)的性质;信源编码;一些相关的定义;奇异码/非奇异码;唯一可译码/即时码;信源编码模型;不等概信源的情况;典型序列非典型序列;典型序列非典型序列;等长编码定理;等长编码定理;变长编码定理;等长编码;变长编码;树图、非延长特性、异前置特性;码树图;非满树：有些树枝未用时的码树。 非满树构造的就是变长码。 如果每一个码字都被安排在终节点上，这种码就是异前置码。;树图的特征与编码的对应关系 树根 码字的起点 树枝数 码的进制数 节点 码字或码字的一部分 终节点/终端节点 码字（异前置码） 节数 码长 满树 等长码 非满树 变长码;非延长特性异前置特性;Kraft不等式;唯一可译码的判断方法;Huffman编码;限失真信源编码;失真测度;失真函数;平均失真;信息率失真函数;信息率失真函数;限失真编码定理;限失真编码定理;信源编码的一些方法;作业