2.4-离散无失真信源编码定理.pptVIP

香农信息论三大定理:第一定理:无失真信源编码定理第二定理:信道编码定理（包括离散和连续信道）第三定理:限失真信源编码定理.定长编码定理：由L个符号组成的，平均符号熵为H(x)的平稳无记忆符号序列X，可用由K个码符号(每个有m种取值)组成的码序列作定长编码。对任意?＞0,?＞0，有：(2)逆定理：当说明：(1)信息率(编码速率)：R=(K/L)log2mm——码序列中每个符号可能的取值数K——定长编码，每个码的长度mK——码字的总数log2m——m个取值等概，每个码符号的最大熵Klog2m——无记忆，码序列总信息量等于各符号信息量之和(K/L)log2m——编码后平均每个符号的信息量，即平均符号熵；传送一个符号所需的信息率(2)正定理指出：当信息率R略大于单符号熵H(X)时可做到几乎无失真译码，条件是L足够大。(3)逆定理指出：编码后发送一个消息符号所需的平均信息量小于信源平均每消息符号的信息量时，必存在编码失真。若R比H(X)小一个?时，译码差错未必超过?若R比H(X)小两个?时，译码差错必定大于?L→∞时必失真(4)结论(单符号)信源熵H(X)实为一个界限当R＞H(X)时—