第3章 离散信源重点.pptVIP

离散无记忆信源的等长编码（续） 例 将26个英文字母用二进制作成等长编码，求代码组单义可译的最小长度。（假设字母等概率出现） 离散无记忆信源的不等长编码（续） 预备定理3.1 （Kraft不等式）设离散无记忆信源有M个符号， 每个符号被用D进制代码组进行编码，第i个符号对应的代码 组长度为Ni,则单义可译代码组存在的充分必要条件是： 离散无记忆信源的不等长编码（续） 预备定理3.2 设{Pi}，{qi} (1=i=M)为两个非负元素集合， 且满足： 则有： 离散无记忆信源的不等长编码（续） 设离散无记忆信源含有M个符号（消息），采用D进制作不 等长编码，第i条消息出现的概率为pi，对应的代码组长度为 Ni，则单义可译代码组的平均长度满足： 其中第i条消息对应的代码组长度Ni满足： 无失真信源编码定理 定理3.4 (香农第一定理) 设离散无记忆信源共有M个符号，信源发K重符 号序列消息，则K重符号序列消息的总数为MK。又设信源发出的第i条K 重符号序列消息的概率为Pi，经过信源编码器后所生成的代码组长度为 Ni，则所有K重符号序列消息所对应的代码组的平均长度为： 当符号序列消息中的符号个数不断增加时，有下式成立： 例3.7 已知离散无记忆信源X含有两个符号x1，x2，各自出现的概率分别为P(x1)=1/4， P(x2)=3/4，求以下两种情况下，信源的编码效率： （1）信源发单符