西安电子科技大学信息论与编码理论（专题讨论型）课件第六章 离散无记忆信源等长编码.pptVIP

离散无记忆信源等长编码 第六讲 信源编码基本概念 字母表 信源输出序列 消息集 码字集 集合 码字序列 等长码 不等长码 D元码 唯一可译码 信源符号 信源符号 出现概率 码 表 码0 码1 码2 码3 码4 a1 p(a1)=1/2 00 0 0 1 1 a2 p(a2)=1/4 01 11 10 10 01 a3 p(a3)=1/8 10 00 00 100 001 a4 p(a4)=1/8 11 11 01 1000 0001 信源编码基本概念 信源编码器 码表 信源 信道 X Y L长序列 N长码字 无失真等长编码 英文电报27个符号,K=27,L=1,D=2(二元编码) 每个英文电报符号至少要用5位二元符号编码 实际英文电报符号信源，在考虑了符号出现的概率以及符号之间的依赖性后，平均每个英文电报符号所提供的信息量约等于1.4比特，即编码后5个二元符号只携带约1.4比特的信息量，远小于5比特( 最大熵)，可见编码后的信息传输效率极低。 实 例 信源编码器 码表 信源 信道 X Y L长序列 N长码字 无失真等长编码 几乎无失真编码 几乎无失真等长编码 选择L足够长，使 其中， 为与L有关的正数，且当 时有 ,才能不损失信息。然而这样的编码不总能保证单义可译，但非单义可译所引起的错误可渐近为任意小。反之，若 ，编码误差变得任意大。 令信源的熵为 ， 的方差为 ，则 的均值为 方差为 由契比雪夫大数定理，对于 可选 ，这可以通过适当选择L来实现，上式可以写成 即当L足够大时， 将以概率1取值为H(U)。 典型序列 令H(U)是集 的熵， 定义为给定信源U输出长为L的典型序列集，又可称作 弱ε典型序列集； 的补集为非典型序列集。 令H(U)是集 的熵， 定义为给定信源U输出长为L的典型序列集，其中， 是L序列中 出现的次数，又称之为强典型序列集。 相应 信源划分定理 定理： 给定信源 和 ，当 时， 由契比雪夫大数定理，对于 可选 ，这可以通过适当选择L来实现，上式可以写成 即当L足够大时， 将以概率1取值为H(U)。 信源划分定理 定理： 给定信源 和 ，当 时， 对于任意小 ，存在有正整数 ，使得当 时，有 由契比雪夫大数定理，对于 可选 ，这可以通过适当选择L来实现，上式可以写成 即当L足够大时， 将以概率1取值为H(U)。 ，则 证明：从典型序列定义式 有 即 等式两边各项取指数，即得证。 若 推论1(特定序列出现的概率) 即 推论2(典型序列数目) 当L足够大时，对于给定的信源 的个数 满足 证明： 即 由 有 即 和 ,典型序列 即 理解典型序列 一个离散无记忆信源输出的消息序列可以分为两组， 各序列出现的概率近于相等； 每个序列平均符号的信息量接近于信源熵H(U)； 所有典型序列的概率和趋近于1。 个别非典型序列的概率不一定比个别典型序列的概率低。 虽然非典型序列集中序列的总概率很小，但是元素数目 不一定小。 理解典型序列 个别非典型序列的概率不一定比个别典型序列的概率低。 虽然非典型序列集中序列的总概率很小，但是元素数目 不一定小。 掷硬币试验：正面出现概率p，反面出现概率1-p 典型序列 非典型序列（全反） 离散无记忆信源编码模型 无错 有错 错误概率 编码速率 可达 对于给定的信源和编码速率R以及任意 若存在有 使当码长 时 就称R是可达的，否则称此R不可达。 无扰编码定理 若RH(U)，则R是可达的；若RH(U) ，则R是 不可达的。 对于给定的离散无记忆信源，若D元码的速率R超过信源的熵，即 ，则存在有编码方法，当L足够大时就能使译码错误概率任意小。 编码效率 证明充分性 令 ，取 。由信源划分定理推论2，对于 通过选择足够大的L，可使 对于每个 依次标以码号1,2,…,2LR-1, 并令 作为相应消息的码字；而对于 ，都用第2LR个标号(000···000)表示。 编码： 相应号数的二元序列 译码 ： 若 若 因此，R为可达速率。 则 则 证明必要性 令 ，则正确译码概率为 因为 ，所以有 个码字， 序列的个数至少为 ，所以在 序列可以找到码字的概率为 而 由此得 随着L的加大，上式趋于0，即 从而R是不可达的。 而典型 中的 本节小结 信源编码基本概念 DMS等长编码 无失真编码充要条件 几乎无失真编码充要条件 （本节内容见课本53-62页） 定义 等长码