信息论与编码理论基础王育民(第三章)1-3.pptVIP

* * §3.3 离散无记忆（简单）信源的不等长编码 ②平均码字长度。设信源随机变量U的概率分布为{ak, q(ak), k=1~K}，事件ak对应的码字长度为nk，则平均码字长度为 希望 小。 解决方案：概率大的事件用短码字。 ③实时译码和容量限制。 * * §3.3 离散无记忆（简单）信源的不等长编码 唯一可译性的两种解决方法 定义3.3.2(p55) 若 ①事件与码字一一对应； ②每个码字的开头部分都是一个相同的字母串； ③这个字母串仅仅出现在码字的开头，不出现在码字的其它部位，也不出现在两个码字的结合部。 则称这个字母串为逗号，称此码为逗点码。 定义3.3.4(p55) 若 ①事件与码字一一对应； ②每个码字都不是另一个码字的开头部分（字头）。 则称此码为异字头码。 * * §3.3 离散无记忆（简单）信源的不等长编码 注解 逗点码显然是唯一可译的，识别码字的方法为： 见到逗号就识别为一个码字的开始。 异字头码也是唯一可译的，识别码字的方法为： 见到一个码字就识别为一个码字。 （许多具体的异字头码有更加简便的识别码字的方法） * * §3.3 离散无记忆（简单）信源的不等长编码 例 观察表3.3.1(p55)。 事件 概率 码A 码B 码C 码D a1 0.5 0 0 0 0 a2 0.25 0 1 10 01 a3 0.125 1 00 110