西安电子科技大学信息论与编码理论（专题讨论型）课件第七章 离散无记忆信源不等长编码.pptVIP

作 业 3.1 3.2 3.4 离散无记忆信源不等长编码 第七讲 消息集 码字集 等长编码 无失真 几乎无失真 典型序列 Review 例 题 掷硬币：正面出现p=0.25，这时信源熵H(U)=0.81。 （1）若采用等长二元无错编码时， （2）若采用只对典型序列编码，要求译码错误概率 ，求L 由 可得 又 可得 也就是长度要达到2580万以上。 Morse电码 特点：经常出现的字母变换为较短的数字序列， 不经常出现的字母变换为较长的数字序列。 A B C D E F G H I · – – · · · – · – · – · · · · · – · – – · · · · · · · J K L M N O P Q R · – – – – · – · – · · – – – · – – – · – – · – – · – · – · S T U V W X Y Z · · · – · · – · · · – · – – – · · – – · – – – – · · E对应1000 J对应1011101110111000 设信源随机变量U的概率分布为 若事件ak对应的码字长度为nk，则平均码字长度为 平均码长 希望 小。 解决方案：概率大的事件用短码字。 1）每个消息都至少有一个码字与之对应，且不同的消 息对应不同的码字 ； 2） 对于一个码，如果存在一种译码方法，使任意若干 个码字所组成的字母串只能唯一地被翻译成这几个 码字所对应的事件序列，即码字的分点唯一确定。 不等长编码的唯一可译性 解决方案：适当地编码，使得每个码字都具有识别标记。 事件 概率 码A 码B 码C 码D a1 0.5 0 0 0 0 a2 0.25 0 1 10 01 a3 0.125 1 00 110 011 a4 0.125 10 11 111 0111 不等长码实例 若①事件与码字一一对应； ②每个码字都不是另一个码字的开头部分（字头）。 则称此码为异字头码。 唯一可译的两种解决方法 逗点码 若①事件与码字一一对应； ②每个码字的开头部分都是一个相同的字母串； ③这个字母串仅仅出现在码字的开头，不出现在码字的其它部位。则称这个字母串为逗号，称此码为逗点码。 异字头码 见到逗号就识别为一个码字的开始。 见到一个码字就立即识别。 事件 概率 码A 码B 码C 码D a1 0.5 0 0 0 0 a2 0.25 0 1 10 01 a3 0.125 1 00 110 011 a4 0.125 10 11 111 0111 不等长码实例 码C的平均码长为 1×0.5+2×0.25+3×0.125+3×0.125=1.75 码D的平均码长为 1×0.5+2×0.25+3×0.125+4×0.125=1.875 异字头码 异字头码的树图表示。 异字头码是唯一可译的。 异字头码具有即时性。 A 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 二进制码树 树根—码字的起点 分成r个树枝—码的进制数 端节点—码字1101 中间节点—码字的一部分 节数—码长 码 树 满树：每个节点上都有2个分枝的树——等长码 非满树：不等长码 0 1 2 0 0 1 1 2 2 2 2 三进制码树 0 0 0 1 1 1 2 码 树 异字头码（译码） 异字头码的树图表示。 异字头码是唯一可译的。 异字头码具有即时性 事件 概率 码C a1 0.5 0 a2 0.25 10 a3 0.125 110 a4 0.125 111 异字头码（译码） 异字头码的树图表示。 异字头码是唯一可译的。 异字头码具有即时性。 事件 概率 码C a1 0.5 0 a2 0.25 10 a3 0.125 110 a4 0.125 111 0 0 0 1 1 1 a1 a2 a3 a4 111100 a4 a2 a1 0 0 0 0 1 1 1 0 10 110 1110 （2）当码字长度给定，异字头码不是唯一的。 任意给定的n1,n2,…,nK和D，是否总能存在满足条件的D元异字头码？ （1）若选定某一节点表示消息，则该节点不再延伸。这是为了保证异字头条件。 1 1 1 1 1 0 0 01 001 0001 0 （3）若要构造有K个码字的D元异字头码，其码长分 别为n1,n2,…,nK，则只需画出一个有K个端节点