第7讲——离散无记忆信源等长编码剖析.pptVIP

离散无记忆信源等长编码 第七讲 * * 信源编码基本概念 字母表 信源输出序列 消息集 码字集 集合 码字序列 等长码 不等长码 D元码 唯一可译码 0001 1000 01 11 11 p a4 1/8 a4 001 100 00 00 10 p a3 1/8 a3 01 10 10 11 01 p a2 1/4 a2 1 1 0 0 00 p a1 1/2 a1 码4 码3 码2 码1 码0 码 表 信源符号 出现概率 信源符号 信源编码基本概念 信源编码器 码表 信源 信道 X Y L长序列 N长码字 无失真等长编码 英文电报27个符号,K 27,L 1,D 2 二元编码 每个英文电报符号至少要用5位二元符号编码 实际英文电报符号信源，在考虑了符号出现的概率以及符号之间的依赖性后，平均每个英文电报符号所提供的信息量约等于1.4比特，即编码后5个二元符号只携带约1.4比特的信息量，远小于5比特 最大熵 ，可见编码后的信息传输效率极低。 实 例 信源编码器 码表 信源 信道 X Y L长序列 N长码字 无失真等长编码 几乎无失真编码 几乎无失真等长编码 选择L足够长，使 其中， 为与L有关的正数，且当 时有 ,才能不损失信息。然而这样的编码不总能保证单义可译，但非单义可译所引起的错误可渐近为任意小。反之，若 ，编码误差变得任意大。 令信源的熵为 ， 的方差为 ，则 的均值为 方差为 由契比雪夫大数定理，对于 可选 ，这可以通过适当选择L来实现，上式可以写成 即当L足够大时， 将以概率1取值为H U 。 典型序列 令H U 是集 的熵， 定义为给定信源U输出长为L的典型序列集，又可称作 弱ε典型序列集； 的补集为非典型序列集。 令H U 是集 的熵， 定义为给定信源U输出长为L的典型序列集，其中， 是L序列中 出现的次数，又称之为强典型序列集。 相应 信源划分定理 定理： 给定信源 和 ，当 时， 由契比雪夫大数定理，对于 可选 ，这可以通过适当选择L来实现，上式可以写成 即当L足够大时， 将以概率1取值为H U 。 信源划分定理 定理： 给定信源 和 ，当 时， 对于任意小 ，存在有正整数 ，使得当 时，有 由契比雪夫大数定理，对于 可选 ，这可以通过适当选择L来实现，上式可以写成 即当L足够大时， 将以概率1取值为H U 。 ，则 证明：从典型序列定义式 有 即 等式两边各项取指数，即得证。 若 推论1 特定序列出现的概率 即 推论2 典型序列数目 当L足够大时，对于给定的信源 的个数 满足 证明： 即 由 有 即 和 ,典型序列 即 理解典型序列 一个离散无记忆信源输出的消息序列可以分为两组， 各序列出现的概率近于相等； 每个序列平均符号的信息量接近于信源熵H U ； 所有典型序列的概率和趋近于1。 个别非典型序列的概率不一定比个别典型序列的概率低。 虽然非典型序列集中序列的总概率很小，但是元素数目 不一定小。 理解典型序列 个别非典型序列的概率不一定比个别典型序列的概率低。 虽然非典型序列集中序列的总概率很小，但是元素数目 不一定小。 掷硬币试验：正面出现概率p，反面出现概率1-p 典型序列 非典型序列（全反） 离散无记忆信源编码模型 无错 有错 错误概率 编码速率 可达 对于给定的信源和编码速率R以及任意 若存在有 使当码长 时 就称R是可达的，否则称此R不可达。 *