信息论_L5_20140328.pptxVIP

;;;;;;;;;;;;;;;;;;;;;;;;;;;定理3.1 等长编码定理 设离散无记忆信源S ={x1 ，x2 ，…，xk}的熵为H（X），S的L维扩展信源为 ，对信源输出的L长序列si ，i = 1, 2, …, KL 进行等长编码，码字是长度为n的D进制符号串， 当满足条件 ，则L →∞时，可使译码差错pe δ(ε、δ为无 穷小量)；反之，当 时，则不可能实现无差错编码。 ;编码效率 定理3.1要求 ，即 ，可看出比值 是一个小于1的无量纲纯数，定义它为等长编码的编码效率，记为 ;;定理3.2 D进制码字集合C ={c1, c2,…, cM }，码集中每一cm（m = 1, 2, …, M）都是一个D进制符号串，设c1, c2,…, cM 对应的码长分别是n1, n2, …, nM ，则存在唯一可译码的充要条件是 ; 定理3.3 给定熵为H（X）的离散无记忆信源，及有D 个元素的码符号集，则总可找到一种无失真编码方法，构成惟一可译码，其平均码长 满足： ;定理3.4 变长编码定理 (Shannon第一定理) 给定熵为H（X）的离散无记忆信源 ， 其L次扩展信源 的熵记为H（X）， 给定有D个元素的码符号集，对扩展信源进行编码，总可以找到一种惟一可译码，使码长 满足 ;Shannon第一定理的物理意义在于：对信源进行编码，使编码后的码集中各码字尽可能等概分布，如果将这码集看成为一个新的信源，这时新信源所含信息量最大。;;;;;;;消息符号ai;;; 消息符号xi ;;;;;计算三种编码的编码效率