北邮通信原理课件-第七章II..pptVIP

第七章 信源和信源编码 什么是信源？ 信息的源泉，产生并且发出信息的something 产生消息 说话的人、赌徒的色子 信源的共同特征 统计特性：所产生的消息的统计特性 色子的点数的统计特性 信件的文字的统计特性 什么是信息？ 信源给出的sth，称消息。信源一般以符号的形式发出具体的消息。 信息用来描述消息的共同特征。 信源所发消息的统计特性的某一参量。它不是消息本身，又包含在消息之中。 信源类型 离散信源：输出是离散符号。 连续信源：输出是连续信号。 单符号信源 序列信源 单消息信源的描述 序列信源 离散符号序列信源的统计特性 离散有记忆序列信源 有记忆序列， 前后符号间不满足统计独立的条件。 需要用全部记忆区间内的统计特性描述。 一阶马氏链 序列中任一符号仅与前面一个符号有直接统计关联 一阶马氏信源： 信源的输出为一阶马氏链 推广：序列中K个符号组成消息状态，仅与前一个消息状态有直接的统计关联 信息的度量： 自信息I(x) 一个消息，包涵的信息量是大还是小？如何判断？ 消息的不确定性： 发生概率小的消息： 发生概率大的消息： 结论：概率小的消息，包涵的信息量大 两个单符号信源： 条件自信息量 联合自信息量 信源的整体情况 熵 信息熵的性质 对称性 非负性 连续性 扩展性 确定性 可加性 信息的度量： 自信息I(x)和信息熵H(X) 自信息I(x)：一个消息包涵的信息量，不确定性程度的数学描述，统计量。 信息熵H(X)：信源的特性，信源的全部符号的不确定性程度的数学期望。 联合熵 条件熵 联合熵和条件熵 联合熵和条件熵的性质 证明： 信源的冗余度 信源输出的符号序列，符号之间有相关性 平稳特性 极限熵 极限熵最大熵 信源 效率相对剩余度 例：英语 等概率离散无记忆信源 英语字母26个，加上一个空格，共27个符号。 英语信源的最大熵(等概率) H0=log227=4.76(比特/符号) 例：英语 不等概-离散无记忆信源 27个符号出现的概率统计结果。 英语：字母之间的依赖性 T 出现H,R的可能性较大 出现J,K,M,N的可能性极小 不会出现Q,F,X 把英语看成马尔可夫信源 英语信源近似看做1阶，2阶，…∞阶马尔可夫信源，熵为 H2=3.32(比特/符号) H3=3.1(比特/符号) 英语信源近似成2阶马尔可夫信源，某个输出： IANKS_CAN_OU_ANG_RLER_THTTED_OF_TO_SHOR_OF_TO_HAVEMEM_A_I_MAND_AND_BUT_WHISS_ITABLY_THERVEREER… 单词中间的依赖关系 考虑所有依赖关系，真实英语：H∞ =1.4比特/符号 结论 英语文章，71%是由语言结构定好的，只有29%是写文字的人可以自由选择的。100页的书，大约只传输29页就可以了，其余71页可以压缩掉。信息的冗余度表示信源可压缩的程度。 从提高传输效率的观点出发，总是希望减少或去掉冗余度。 冗余度大的消息抗干扰能力强。能通过前后字之间的关联纠正错误。 通信过程中接收机获得的信息量 熵：信源本身统计特性的一个参数。? 接收到的信息量： 信宿对于信源不确定性的减少。? 无干扰，信宿得到的信息量等于信源给出的信息量，即信源的熵。 若信道有干扰，信宿得到的信息量不等于信源给出的信息量。 互信息I(X;Y) 互信息I(X;Y)的性质 信源编码 信源编码：用离散序列表示信源 编码序列速率小 无失真/可以容忍的失真--恢复信源的输出符号 两种编码： 无失真 限失真 一些相关的定义 二元码：码符号集为X={0,1}，所得码字都是一些二元序列。 定长码/等长码：一组码中所有码字的码长都相同，即ki=K(i=1,2,…,n)。 变长码：一组码字中所有码字的码长各不相同，即任意码字由不同长度的码符号序列组成。 奇异码/非奇异码 唯一可译码/即时码 信源编码模型 不等概信源的情况 不等概信源，小概率出现的信源序列，不进行编码。 出现失真 编码压缩可以实现 大概率出现的序列，进行编码 近似无失真编码，视为无失真编码。 典型序列非典型序列 信源输出：长度为L的离散无记忆序列，每个符号有n个可能取值。 当L足够大时，其中一些序列的集合以趋于1的概率出现，并且这个序列的集合的每个序列具有相同的出现概率，约 称这些序列为典型序列，构成典型序列集合 信源输出序列可以分成两个互补集合： 即： 典型序列集合非典型序列集合。 典型序列非典型序列 等长编码定理 等长编码定理 变长编码定理 等长编码 变长编码 树图、非延长特性、异前置特性 树图 非延长特性 异前置特性 码字同步问题 码树图