信息论与编码-第五章讲义.ppt

信息论与编码-信源编码 所以等长编码定理告诉我们，只要码字传输的信息量大于信源序列携带的信息量，总可以实现几乎无失真的编码。条件是所取得符号数L足够大。 信息论与编码-信源编码 例如，某信源有8种等概率符号，L＝1，信源序列熵达到最大值： H1(X)=log8=3bit/符号 即该信源符号肯定可以用3比特的信息率进行无失真的编码。这就是说，如果采用二进制符号作为码字输出符号，则用3个比特就可以表示一个符号。 信息论与编码-信源编码 当信源符号输出概率不相等时，如， p(xi)={.4,.18,.1,.1,.07,.06,.05,.04} 则此时，H1(X)=2.55bit/符号 因22.55=5.856，即若用2.55bit来表示，只有5.856种可能码字，还有部分符号没有对应的码字 这些符号一旦出现，被传输至接受端，就没有对应的码字译码，因而引起译码差错。所以定长编码一般都存在译码差错，只是差错大小不同。 当L足够大时，有些序列发生的概率很小，因此可使得译码差错达到足够小。 设 是信源序列的样本矢量， ，则共有 种样本 我们把它分成两个互补的集