信息论与编码第五课1.pptVIP

1. 香农（Shannon）编码 (1)将信源消息符号按其出现的概率大小依次排列 (2)确定满足下列不等式的整数码长Ki。 (3)为了编成唯一可译码，计算第i个消息的累加概率 (4)将累加概率Pi变换成二进制数。 (5)取Pi二进数的小数点后Ki位即为该消息符号的二进制码字。 例5.4 设信源共7个符号消息，a1、a2 、 a3 、 a4 、 a5 、 a6 、 a7，概率分别为0.20 、 0.19 、 0.18 、 0.17 、 0.15 、 0.10 、 0.01，求香农编码。 信源熵： 信源符号的平均码长为： 编码效率为： 香农编码方法特点： 由于ki总是进一取整，香农编码方法不一定是最佳的； 码字集合是惟一的，且为即时码； 先有码字的长度再有码字； 对于一些信源，编码效率不高，多余度稍大，因此其实用性受到较大限制。 2. 费诺编码方法 费诺编码属于概率匹配编码 (1)将信源消息符号按其出现的概率大小依次排列： (2)将依次排列的信源符号按概率值分为两大组，使两个组的概率之和近于相同，并对各组赋予一个二进制码元“0”和“1”。