信息论和编码无失真的信源编码.pptVIP

* 信息论与编码-无失真信源编码 对信源符号采用定长二元编码，要求编码效率η=90%，无记忆信源有HL(X)=H(X)，因此 可以得到 如果要求译码错误概率δ≤10-6，则源字母组的长度 * 信息论与编码-无失真信源编码 由此可见，在对编码效率和译码错误概率的要求不是十分苛刻的情况下，就需要 L=108个信源符号一起进行编码，这对存储和处理技术的要求太高，目前还无法实现。 如果用3比特来对上述信源的8个符号进行定长二元编码，L=1，此时可实现译码无差错，但编码效率只有2.55/3=85%。因此，一般说来，当L有限时，高传输效率的定长码往往要引入一定的失真和译码错误。解决的办法是可以采用变长编码。 * 信息论与编码-无失真信源编码 §3.3 变长编码定理 在变长编码中，码长是变化的。对同一信源，其即时码或唯一可译码可以有许多种。究竟哪一种好呢？从高速传输信息的观点来考虑，当然 希望选择由短的码符号组成的码字，就是用码长来作为选择准则，为此我们引入码的平均长度。 设信源为 * 信息论与编码-无失真信源编码 设编码后的码字为W1,W2,…,Wq,其码长分别为l1,l2,…,lq.因为对唯一可译码来说，信源符号与码字是一一对应的，所以有