信息论第5章-1.pptVIP

定长编码定理 理解1：如果某种编码能使平均码长 则一定可以做到几乎无失真编码，也就是接收端的译码错误率可以接近于零，条件是所取的符号数L足够大 理解2：如果某种编码能使 编码后码字所能携带的最大信息量大于信源输出的信息量，则可以使编码几乎无失真，条件是L足够大 * 定长编码定理 定长编码定理： 取等号时对应的编码效率最高 差错概率 = 非ε典型序列出现的概率，设允许错误率δ0 * 非ε典型序列集 ε典型序列集Gε 例 设离散无记忆信源 若要求差错率δ0≤10－6，编码效率为90%，求L满足的条件 * 信源熵： 方差： 在差错率和编码效率要求并不十分苛刻的条件下， 就需要L=108个信源符号进行联合编码，这显然是很难实现的 变长编码定理 在变长编码中码长Ki是变化的 我们可根据信源各个符号的统计特性，对概率大的符号用短码，概率小的用长码，这样在大量信源符号编成码后平均每个信源符号所需的输出符号数（平均码长）就可以降低，从而提高编码效率 变长编码定理 单个符号变长编码定理 离散平稳无记忆序列变长编码定理 * 变长编码定理 单个符号变长编码定理： 若一离散无记忆信源的符号熵为H(X)，每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，构成唯一可译码，使其码字平均长度满足下列不等式: 离散平稳无记忆序列变长编码定理： 对于符号熵为H(X)的离散平稳无记忆信源符号序列X= (X1 , X2 ,…, Xl … XL) ，必存在一种无失真编码方法，使平均码长满足不等式 * 香农第一定理 变长编码定理 用变长编码来达到相当高的编码效率，一般所要求的符号长度L可以比定长编码小得多 编码效率 η → L * 例 设离散无记忆信源 变长码编码，编码效率大于90%，求L满足的条件 * 信源熵 编码效率 定长编码需要L=108个信源符号进行联合编码 例 设离散无记忆信源概率空间 * 信源熵 若用二元定长编码(0，1)来构造即时码: x1 → 0, x2 → 1 平均码长 编码效率 编码后的信息传输率 序列 序列概率 即时码 x1 x1 x1 x2 x2 x1 x2 x2 9/16 3/16 3/16 1/16 0 10 110 111 * 再对长度为L =2的信源序列进行变长编码，其即时码如上 序列的平均码长 单个符号的平均码长 编码效率 编码后的信息传输率 将信源序列的长度增加，L＝3或L=4，对这些信源序列进行编码，可得其编码效率为 信息传输率 如果对这一信源采用定长二元码编码，要求编码效率达到96％时，允许译码错误概率δ≤10-5，所需要的信源序列长度 * 总结 无失真信源编码定理 定长编码定理： 变长编码定理 推广：无记忆信源H(X)→有记忆信源HL(X) * 二进制编码：信源的信息熵是无失真信源压缩的极限值 习题 5-1 * * * 1、首先看一下信源编码是干什么用的，通过一个例子来看一下 2、英文源，用各种字母、空格、标点符号来表示消息 * * * * * * 信源编码 第五章 5.1 信源编码的定义 5.2 无失真信源编码 5.3 限失真信源编码 5.4 常用信源编码方法简介 * 信源编码 5.1 信源编码的定义 5.2 无失真信源编码 5.3 限失真信源编码 5.4 常用信源编码方法简介 * 信源编码 * 例：英文电报信源符号X={a,b,c…z,空格符,…}，n=32。数字信道只允 许{0, 1}两种状态的信号，因此为了在数字信道中传输，需要对信源符号进行编码 信源编码的定义 信源编码器 {0, 1} 信源 信道 X Y 满足信道传输—符号匹配 尽可能提高传输效率 编码一（电传码）：a—11000， b—10011… 编码二（ASCII码）： a—61H(1100001)， b—62H(1100010)... 信源编码的定义 信源编码：完成从信源符号到码符号的映射 信源译码：信源编码的逆过程，完成从码符号到信源符号的映射 * 信源编码器 C={c1，c2，…，cm} X={x1，x2，…，xn} yi=ci1ci2…cili xi Y={y1，y2，…，yn} 码表 信源符号 信源符号集合 码字 码 码元/码符号（集合） 信源编码的定义 信源编码: * 信源符号 信源符号 出现概率 码 表 码0 码1 码2 码3 码4 x1 p(x1) 00 0 0 1 1 x2 p(x2) 01 11 10 10 01 x3 p(x3) 10 00 00 100 001 x4 p(x4)