信息论与编码全部.ppt

5.1.4变长编码定理*该信源共有5个3位的码字，且各码字之间至少有一位不相同，故是惟一可译码，同时这7个码字都不是延长码，属于即时码。5.1.4变长编码定理*费诺码将它们分成概率之和近似相等的两组，并给予一定的编码规则，如下支路为1，上支路为0；重复步骤3，直至每组只剩下一个信源符号为止，所对应的码符号序列即为所编码字。将信源符号按其概率的递减次序排列；将每一大组的符号再分成概率之和近似相等的两组，并各赋一个码元，如下支路为1，上支路为0；123455.1.4变长编码定理*例：符号si概率p(si)第一次第二次第三次第四次二元码组S10.200000S20.1910010S30.181011S40.171010S50.1510110S60.101011110S70.0111115.1.4变长编码定理*香农编码法冗余度较大，实用性不强，但具有重要的理论意义。02费诺码比香农码的平均码长小，消息传输率大，编码效率高。015.1.4变长编码定理*平均码长为最短的即时码称为最佳码，又称为紧致码。对于某个给定分布的离散信源，存在一个二元最佳码，此码满足如下性质：概率大的信源符号所对应的码长必不大于概率小的信源符号所对应的码长。两个最小概率的信源符号所对应的码字必具有相同的码长，且其差别必是最后一位码元不同。5.1.4变长编码定理*霍夫曼编码——最佳变长编码将信源符号按其概率的递减次序排列；从最小概率的两个消息开始编码，并给予一定的编码规则，如下支路为1，上支路为0；将已编码的两个消息对应概率合并，并重新按概率大小排队，重复步骤2；重复步骤3，直至合并概率达1.0为止，划出由每个信源符号概率到1.0的路径，记下沿路径的1和0；编码按后编先出的方式进行。1234565.1.4变长编码定理*例：例5.1.7参见教材142页消息（U）概率（pi）u11/2u21/4u31/80u41/811/21/401/411/211/201.0编码C’1010000015.1.4变长编码定理*例：sip(si)编码过程码组S10.20010.200.190.180.170.150.11010.260.200.190.180.17010.350.260.200.19010.390.350.26010.610.390110S20.1911S30.18000S40.17001S50.15010S60.100110S70.0101115.1.4变长编码定理*可见，哈夫曼码的平均码长最小，消息传输率最大，编码效率最高。5.1.4变长编码定理*哈夫曼编码方法得到的码不是惟一的，原因是：每次对信源缩减时，赋予信源最后两个概率最小的符号，用0和1是任意的，所以可得到不同的码，但不会影响码长。新合并的概率与其他符号的概率相等时，在缩减信源时，其位置次序是任意的，故可得到不同的码，并且对码长有影响。5.1.4变长编码定理*在编码中，将新合并的概率放在上支路，可减少再次合并的次数，充分利用短码，缩短码长的方差，编出的码更接近于等长码。5.1.4变长编码定理*哈夫曼码是用概率匹配方法进行信源编码的，有两个明显的特点：该方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码。缩减信源的最后两个码字总是最后一位不同，从而保证了是即时码。125.1.4变长编码定理*误差扩散：噪声所影响的不仅是被干扰的码元，而是一直要扩散下去影响后面的一系列码元。01解决方法：定期清洗或加检错纠错码。025.1.4变长编码定理*速度匹配：信源输出速率是变化的，而信道传送的信息率是固定不变的，因而存在速率匹配问题。01解决方法：采用缓冲存储器。025.1.4变长编码定理*概率匹配：变长码是与信源统计特性相匹配的无失真信源编码，信源统计特性的变化对变长码影响很大。解决方法：扩张信源。5.1.4变长编码定理*例：若有一信源每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二进制信道中进行传输（设信道是无噪无损的），信道每秒钟只能传递2个二元符号。试问信源不通过编码能否直接与信道连接？若通过适当编码能否在此信道中实现无失真传输？若能连接，试说明如何编码并说明原因。5.1.4变长编码定理*解：信源熵和信源输出的信息速率为Rt=2.