信息论与编码第4无失真信源编码.pptVIP

4.3.2 香农码 香农第一定理指出，选择每个码字的长度Ki满足下式的整数： －logmpi≤Ki＜1－logmpi 例4-4设无记忆信源的概率空间为： 4.3.2 香农码 以二进制编码为例，香农编码方法如下： ⑴ 将信源消息符号按其出现的概率大小依次排列 p(u1)≥p(u2)≥…≥ p(un) ⑵ 确定码长Ki (整数) ： Mi= [ ] ——取整； Ki =Mi+1,如果 Mi是小数； Ki =Mi, 如果Mi是整数 ⑶ 为了编成唯一可译码，计算第i个消息的累加概率 4.3.2 香农码 ⑷ 将累加概率Pi变换成二进制数。 ⑸ 取pi二进制数的小数点后Ki位即为该消息符号的二进制数。 例4-5 对 信源进行香农编码。 4.3.2 香农码 4.3.2 香农码 以i=3为例，计算各符号的码字长度： K3=[－log0.2]=3 累加概率P4=0.7 —— 0.10110… —— 101 4.3.2 香农码 4.3.2 香农码 香农编码给予你什么启示？ 香农编码中如何保证编码是异前缀的？ 香农编码何时可以达到无损压缩的理论极限？ 考虑有记忆和无记忆信源序列概率（概率和条件概率）分布具有平稳性，对单个符号进行本编码和对序列进行编码，编码的效率相比较如何？ 4.3.3 费诺码 费诺码属于概率匹配编码