第四章无失真信源编码.pptVIP

思路：平均码长与信源特性相匹配适用数据源：离散无记忆信源－香农编码、费诺编码、霍夫曼编码§4.5实用的无失真信源编码方法举例第62页，共113页，星期日，2025年，2月5日－香农编码步骤以二进制香农码为例：排序将信源符号按概率从大到小的顺序排列，为方便起见，令p(x1)≥p(x2)≥…≥p(xn)概率累加令p(x0)=0，设i=0,1,…n-1,用pa(xj)，j=i+1表示前i个码字的累加概率，则：确定码长求满足下列不等式的整数ki，并令ki为第i个码字的长度－log2p(xi)≤ki1－log2p(xi)编码将pa(xj)用二进制表示，并取小数点后ki位作为符号xi的编码。§4.5实用的无失真信源编码方法举例第63页，共113页，星期日，2025年，2月5日[例7]有一单符号离散无记忆信源对该信源编二进制香农码。其编码过程如下表所示。香农编码举例－1第64页，共113页，星期日，2025年，2月5日二进制香农编码xip(xi)pa(xj)pa(xj)2ki码字x10.25x20.25x30.20x40.15x50.10x60.050.250.000.500.700.850.95(0.000)2(0.010)2(0.100)2(0.101)2(0.1101)2(0.11110)22233450001100101110111110第65页，共113页，星期日，2025年，2月5日编码效率离散无记忆信源的熵：平均码长：采用香农编码后的信息率：编码效率：结论：1、香农编码对信源进行了压缩。若对该信源采用等长编码，要做到无失真译码，每个符号至少要用3个比特表示。2、编码效率并不是很高。香农编码举例－2第66页，共113页，星期日，2025年，2月5日以二进制费诺编码为例，编码步骤如下：排序：将概率按从大到小的顺序排列，令p(x1)≥p(x2)≥…≥p(xn)分组：按编码进制数将概率分组，使每组概率尽可能接近或相等。如编二进制码就分成两组，编m进制码就分成m组。编码：给每一组分配一位码元。重复：将每一分组再按同样原则划分，重复步骤2和3，直至概率不再可分为止。－费诺编码步骤§4.5实用的无失真信源编码方法举例第67页，共113页，星期日，2025年，2月5日[例8]设有一单符号离散信源对该信源编二进制费诺码。编码过程如下表所示。费诺编码举例－1010101010100011011011101111222344第68页，共113页，星期日，2025年，2月5日编码效率该信源的熵:平均码长:编码效率:结论：费诺码比较适合于每次分组概率都很接近的信源。特别是对每次分组概率都相等的信源进行编码时，可达到理想的编码效率。费诺编码举例－3第69页，共113页，星期日，2025年，2月5日§4.5实用的无失真信源编码方法举例－霍夫曼编码编码规则：1)排序：将信源消息U按概率大小排序（由大至小）p(x1)≥p(x2)≥…≥p(xn)2)定规则并编码：从最小概率的两个符号开始编码，并赋予一定规则，如下支路小概率为“1”，上支路大概率为“0”。若两支路概率相等，仍为下支为“1”上支为“0”。3)概率合并：将已编码两支路概率合并，重新排队，编码。4)重复：重复步骤3）直至合并概率归一时为止。5)确定最终码子：从概率归一端沿树图路线逆行至对应消息编码。第70页，共113页，星期日，2025年，2月5日霍夫曼编码举例－1例9：0101011001010110第71页，共113页，星期日，2025年，2月5日霍夫曼编码举例－1例9：01010110010101