第9讲——离散无记忆信源不等长编码.pptVIP

离散无记忆信源不等长编码 第九讲 1）每个消息都至少有一个码字与之对应，且不同的消 息对应不同的码字 ； 2） 对于一个码，如果存在一种译码方法，使任意若干 个码字所组成的字母串只能唯一地被翻译成这几个 码字所对应的事件序列，即码字的分点唯一确定。 不妨设n1≤n2≤…≤nK，则n1级节点中的任何一个 作端点即占去了满树中所有可能nK级节点的 选n1、n2、…、nK，使 * * 消息集 码字集 等长编码 无失真 几乎无失真 典型序列 Review 掷硬币：正面出现p=0.25，这时信源熵H(U)=0.81。 （1）若采用等长二元无错编码时， （2）若采用只对典型序列编码，要求译码错误概率 ，求L 由 可得 又 可得 例 题 也就是长度要达到2580万以上。 Morse电码 特点：经常出现的字母变换为较短的数字序列， 不经常出现的字母变换为较长的数字序列。 J K L M N O P Q R · – – · · · – · – · – · · · · · – · – – · · · · · · · S T U V W X Y Z · · · – · · – · · · – · – – – · · – – · – – – – · · · – – – – · – · – · · – – – · – – – · – – · – – · – · – · A B C D E F G H I E对应1000 J对应1011101110111000 设信源随机变量U的概率分布为 若事件ak对应的码字长度为nk，则平均码字长度为 平均码长 希望 小。 解决方案：概率大的事件用短码字。 不等长编码的唯一可译性 解决方案：适当地编码，使得每个码字都具有识别标记。 0111 111 11 10 0.125 a4 011 110 00 1 0.125 a3 01 10 1 0 0.25 a2 0 0 0 0 0.5 a1 码D 码C 码B 码A 概率 事件 不等长码实例 若①事件与码字一一对应； ②每个码字都不是另一个码字的开头部分（字头）。 则称此码为异字头码。 唯一可译的两种解决方法 逗点码 若①事件与码字一一对应； ②每个码字的开头部分都是一个相同的字母串； ③这个字母串仅仅出现在码字的开头，不出现在码字的其它部位，也不出现在两个码字的结合部。 则称这个字母串为逗号，称此码为逗点码。 异字头码 见到逗号就识别为一个码字的开始。 见到一个码字就立即识别。 0111 111 11 10 0.125 a4 011 110 00 1 0.125 a3 01 10 1 0 0.25 a2 0 0 0 0 0.5 a1 码D 码C 码B 码A 概率 事件 不等长码实例 码C的平均码长为 1×0.5+2×0.25+3×0.125+3×0.125=1.75 码D的平均码长为 1×0.5+2×0.25+3×0.125+4×0.125=1.875 异字头码 异字头码的树图表示。 异字头码是唯一可译的。 异字头码具有即时性。 A 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 二进制码树 树根—码字的起点 分成r个树枝—码的进制数 端节点—码字1101 中间节点—码字的一部分 节数—码长 码 树 满树：每个节点上都有2个分枝的树——等长码 非满树：不等长码 0 1 2 0 0 1 1 2 2 2 2 三进制码树 0 0 0 1 1 1 2 码 树 异字头码（译码） 异字头码的树图表示。 异字头码是唯一可译的。 异字头码具有即时性 111 0.125 a4 110 0.125 a3 10 0.25 a2 0 0.5 a1 码C 概率 事件 异字头码（译码） 异字头码的树图表示。 异字头码是唯一可译的。 异字头码具有即时性。 111 0.125 a4 110 0.125 a3 10 0.25 a2 0 0.5 a1 码C 概率 事件 0 0 0 1 1 1 a1 a2 a3 a4 111100 a4 a2 a1 0 0 0 0 1 1 1 0 10 110 1110 （2）当码字长度给定，异字头码不是唯一的。 任意给定的n1,n2,…,nK和D，是否总能存在满足条件的D元异字头码？ （1）若选定某一节点表示消息，则该节点不再延伸。 这是为了保证异字头条件。 1 1 1 1 1 0 0 01 001 0001