无失真信源编码定理重点讲义.pptxVIP

5.4 等长信源编码定理;2;定理证明的基本思路是： 把离散无记忆的N次扩展信源划分成两个互补的集合 G 和 G 。一个集合包含的都是经常出现的信源序列，这个集合出现的概率接近于1。另一个集合虽包含的元素较多，但都不是经常出现的信源序列，总的出现的概率极小，趋于零。对高概率集 G 中的信源序列进行编码，而将低概率集 G 中的信源序列舍弃，不编码。这样，所需的平均码长可以减少，而所引起的错误概率去很小。;4;5.5 变长码;信源符号;7;5.5.2 即时码的树图构造法;1.在左图中，当某一个节点被安排为码字后，就不再继续伸枝，此节点称为终端节点（用粗黑点表示）。;任一即时码都可用树图法来表示。 当码字长度给定时，即时码不是唯一的。 在每个节点上都有r个分枝的树称为整树（满树），否则称为非整树（非满树）。;5.5.3 克拉夫特（Kraft)不等式;12;5.5.4 唯一可译变长码的判断法; 唯一可译码的判断方法： 将码C中所有可能的尾随后缀组成一个集合F，当且仅当集合F中没有包含任一码字，则可判断此码C为唯一可译码。 如何构成集合F,可以按如下步骤进行。 首先，观察码C中最短的码字是否是其它码字的前缀。若是，将其所有可能的尾随后缀排列出。而这些尾随后缀又有可能是某些码字的前缀，再将这些尾随后缀产生的新的尾随后缀列出，然后再观察这些新的尾随后缀是否是某些码字的前缀，;; 【例5.2】现设码C={0，10，1100，1110，1011，1101}，根据上述测试方法，判断是否是唯一可译码。 解：先看最短的码字：“0”，它不是其他码字前缀，所以没有尾随后缀。再观察码字“10”，它是码字“1011”的前缀，因此有尾随后缀：;5.6 变长信源编码定理;编码后的码字为 对应的码长分布为 因为对唯一可译码来说，信源符号与码字是一一对应的，所以有 则这个码的平均长度为 它是每个信源符号平均需用的码元数。; 当信源给定时，信源的熵就确定（为 比特/信源符号），而编码后每个信源符号平均用 个码元来变换。 那么平均每个码元携带的信息量即编码后信道的信息传输率（码率）??? （比特/码符号） 若传输一个码符号平均需要t秒钟，则编码后信道每秒钟传输的信息量为 （比特/秒） 可见， 越短， 越大，信息传输效率就越高。; 对某一信源来说，若有一个唯一可译码，其平均长度小于所有其它的唯一可译码的平均长度，则该码称为紧致码，或称最佳码。无失真变长信源编码的基本问题就是要找最佳码。 ; 码字平均长度 不能小于极限值 ，否则唯一可译码不存在。定理给出平均码长的上界，但并不是说大于上界不能构成唯一可译码，而是我们希望 尽可能短。定理给出紧致码的最短平均码长，并指出这个最短的平均码长与信源熵是有关的。;;为了衡量各种编码，定义变长码的编码效率。对于平稳有记忆信源 对于无记忆信源则有 式中 ; 一定是小于或等于1的数。对同一信源来说，若码的平均码长 越短，越接近极限值 ，信道的信息传输率就越高， 也越接近于1，所以用码的效率 来衡量各种编码的优劣。 为了衡量各种编码与最佳码的差距，定义码的剩余度为 编码效率越高，码剩余度越接近零。;【例5.4】 有一离散无记忆信源 其熵为 （比特/信源符号）; 若用二元码符号(0，1)来构造一个即时码:s1→0，s2→1，这时平均码长为 （二元码符号/信源符号） 编码效率为 输出的信息率为 ; 为提高传输效率，再对信源S的二次扩展信源进行编码，其即时码如下表所示：;信源S中每一单个符号的平均码长为 （二元码符号/信源符号） 其编码效率为 编码复杂了，