第7讲——离散无记忆信源不等长编码2014.ppt

异字头码？ 用 对 编码，得 的码字为 此码字对应的区间为 。 由 和 可知， 此区间的下界处于累积分布函数 台阶的中点以下， 以上，而这区间的上界处于 以下。 也就是，每个码字对应的区间完全处于累积分布函数中 该信源符号对应的台阶宽度内。 所以，不同码字对应的区域是不同的，没有重叠，该码 满足异字头条件。 Shannon-Fano-Elias编码 Shannon-Fano-Elias编码方法采用信源符号的累积分 布函数来分配码字。 设信源符号集 ，其相应的概率分布为 P(a k) 0 (k=1,2,…,K) 。 定义信源符号 的累积分布函数为 其中 。 又定义修正累积分布函数： 将区间分为了K个子区间，每个区间的宽度为P(a k)。 修正累积分布函数值处于对应a k台阶的中点。 编码方法？ 因为所有概率都大于0，所有当 问题： 的数值取多少位能保证唯一可译？ 一般 为一实数，若用二进制数表示，可能为无限位数。 二元编码方法：消息ak的码字为实数 的二元数字 表示序列的截短，保留的截短序列长度nk是大于或等于 I(ak)的最小整数加1。 即 如知道 ，就能确定处在累积分布函数图中那个区间，就能确定信源符号 。因此，可采用 的数值作为符号 的 码字。 可证明：该码是满足异字头码条件，并且 唯一可译码？ 若选取 得 可见， 与它的近似值 之差小于该台阶的一半。 唯一可译！ 根据二进制小数截去位数的影响，得 离散无记忆信源不等长编码 第7讲 消息集 码字集 等长编码 无失真 几乎无失真 对典型序列无误编码 Review 掷硬币：正面出现p=0.25，这时信源熵H(U)=0.811比特。 （1）若采用等长二元无错编码时， （2）若采用只对典型序列编码，要求译码错误概率 ，求L 由 可得 又 可得 例 题 要求长度达到2580万以上，难以实现。 Review 出路：不等长编码 Morse电码 特点：经常出现的字母变换为较短的数字序列， 不经常出现的字母变换为较长的数字序列。 A B C D E F G H I · – – · · · – · – · – · · · · · – · – – · · · · · · · J K L M N O P Q R · – – – – · – · – · · – – – · – – – · – – · – – · – · – · S T U V W X Y Z · · · – · · – · · · – · – – – · · – – · – – – – · · 设信源随机变量U的概率分布为 若事件ak对应的码字长度为nk，则平均码字长度为 平均码长 希望 小。 解决方案：概率大的事件用短码字。 1）每个消息都至少有一个码字与之对应，且不同的消 息对应不同的码字 ； 2） 对于一个码，如果存在一种译码方法，使任意若干 个码字所组成的字母串只能唯一地被翻译成这几个 码字所对应的事件序列，即码字的分点唯一确定。 不等长编码的唯一可译性 解决方案：适当地编码，使得每个码字都具有识别标记。 事件 概率 码A 码B 码C 码D a1 0.5 0 0 0 0 a2 0.25 0 1 10 01 a3 0.125 1 00 110 011 a4 0.125 10 11 111 0111 不等长码实例 码C：异字头码 码D：逗点码 码C的平均码长 小于码D的平均码长 若①事件与码字一一对应； ②每个码字都不是另一个码字的开头部分（字头）。 则称此码为异字头码。 唯一可译的两种解决方法 逗点码 若①事件与码字一一对应； ②每个码字的开头部分都是一个相同的字母串； ③这个字母串仅仅出现在码字的开头，不出现在码字的其它部位。则称这个字母串为逗号，称此码为逗点码。 异字头码 见到逗号就识别为一个码字的开始。 见