Information theory(信息论与编码).docxVIP

Information theory coding | Tailong Xiao PAGE 5 信息论与编码总结 关于率失真函数的几点总结 原理（需要解决什么问题？或者是受什么的启发，能达到什么目的）。 与无失真信源编码相比，限失真信源编码的原理是什么？我们知道无失真信源编码是要求使信源的所发送的信息量完全无损的传输到信宿，我们常见的编码方式有哈夫曼编码、费诺编码和香农编码。他们的中心思想是使序列的中0和1出现的概率相等。也就是说长的码字对应的信源符号出现的概率较小，而短的码字对应的信源符号出现的概率较大，这样就能实现等概。若编码能实现完全的等概，则就能达到无失真的传输。此时传输的信息量是最大的，和信源的信息量相等，此时传输的信息速率达到信道容量的值。（其实这是编码的思想，与之对应的为限失真编码的思想。香农本人并没有提出明确的编码方法，但是给出指导意义） 与无失真的信道相比，如信道存在一定的损耗，即表明有传递概率。此时我们换一个角度。我们使信源概率分布固定不变，因为平均交互信息量I(X;Y)是信道传递概率P(Y/X)的下凸函数，因此我们设想一种信道，该信道的传递概率P(Y/X)能使平均交互信息达到最小。注意，此时的传递概率P(Y/X)就相当于“允许一定的失真度”，此时我们能 无失真压缩和限失真压缩其实是数学上的对偶问题。即无失真压缩是由平均相互信息量的上凸性，调整信源概率分