Informationtheory(信息论与编码).docx

信息论与编码总结关于率失真函数的几点总结原理（需要解决什么问题？或者是受什么的启发，能达到什么目的）。与无失真信源编码相比，限失真信源编码的原理是什么？我们知道无失真信源编码是要求使信源的所发送的信息量完全无损的传输到信宿，我们常见的编码方式有哈夫曼编码、费诺编码和香农编码。他们的中心思想是使序列的中0和1出现的概率相等。也就是说长的码字对应的信源符号出现的概率较小，而短的码字对应的信源符号出现的概率较大，这样就能实现等概。若编码能实现完全的等概，则就能达到无失真的传输。此时传输的信息量是最大的，和信源的信息量相等，此时传输的信息速率达到信道容量的值。（其实这是编码的思想，与之对应的为限失真编码的思想。香农本人并没有提出明确的编码方法，但是给出指导意义）与无失真的信道相比，如信道存在一定的损耗，即表明有传递概率。此时我们换一个角度。我们使信源概率分布固定不变，因为平均交互信息量是信道传递概率的下凸函数，因此我们设想一种信道，该信道的传递概率能使平均交互信息达到最小。注意，此时的传递概率就相当于“允许一定的失真度”，此时我们能这样理解：即在允许的失真度的条件下，能使平均交互信息量达到最小，就表明我们传输的信息可以达到最小，原来的信息量还是那么大。现在只需传输较小信息，表明压缩的空间是非常大的。无失真压缩和限失真压缩其实是数学上的对偶问题。即无失真压缩是由平均相互信息量的上凸性，调整信源概率分布，使传输的信息量达到最大值，这个值就是信道容量。（信道容量是不随信源概率分布而改变的，是一种客观存在的东西，我们只是借助信源来描述这个物理量，事实上也肯定存在另外一种描述方式。）限失真压缩则是相反，他考虑的是信源概率分布固定不变，是调节信道转移概率的大小，使平均交互信息量达到最小。此时信道容量还是相同，只是我们要传输的信息量变小了，（时效性）有效性得到提高。问题自然产生，允许“一定的失真条件”是怎么衡量的？平均交互信息量与传递概率到底是什么样的函数关系？为了理解上的方便，我们先讨论简单的BSC信道。同时度量的标准采用汉明失真矩阵来度量。我们需要解决的概念是等。还能够画出随失真度的函数曲线关系（至少要描3-4个点）。例：对于某个BSC信道，信源概率空间为：其中，规定失真度为汉明失真度，即其汉明失真矩阵为和根据公式可得得到满足保真度准则为.因此. 表明在失真度为0时，即相当于没有损失，要传输的信息量即为信源熵。（2）和根据公式可得即是满足保真度准则条件下，，这时必须记住，构造的试验信道是满足平均交互信息等于0的条件。即此时.为什么？即是说，在保真度要求很低，此时相当于信道独立，不需要传输任何信息。但是这种情况也不可取，因为没有意义。（3）此时我们来看一般的情况，两种极端我们都分别验证了。不失一般性，可以这样理解平均失真度。可以理解为信道把符号错误的传输为符号的错误传递概率。即错误概率。对于个符号信源来说，平均失真度就等于信道的平均错误传递概率，即对于一般的二元离散无记忆信源来说，，所以.因此，在概率分布为的二元离散无记忆信源,在汉明失真度下的信息率-失真函数另外，在汉明失真度下，元等概信源的信息率-失真函数为当r=2时，此时表明在汉明失真度下，二元等概离散无记忆信源X的信息率-失真函数为：注意一般与特殊的关系，最常见的是BSC信道。我们一般的失真度不会达到最大，因为没有意义，但是此处具有理论意义。即是表明一种率失真函数与平均失真度的关系，在实际的应用中通过编码来找到一种合适的传递概率矩阵，从而实现限失真的传输。多符号离散信源与信道本章节涉及的数学理论较多，需要厘清内部的联系。主要是从单符号的离散信源过渡到多符号离散信源的过程（单符号信源的N次扩展信源的过程）。其中还包含有记忆信源与无记忆信源的区别，当然我们描述的信源都是稳定的。另外，有记忆信源中还有一种m阶马尔卡夫链的离散平稳信源。所以，问题还是非常复杂的，介绍完这一部分后，我们后续的任务是无失真的信源编码。但是该理论基础就是我们的本章介绍的。多符号的离散平稳信源由时域上无限长的随机变量序列X=X1X2…XN…来表示。要用数学模型描述一个无限长的随机变量时间序列是比较困难的。因此我们做出限定性的假定，即平稳信源发出的所有不同消息含有的信源符号数是固定不变的。因此在时域上无限长的消息序列有rN种不同的消息状态，而这rN种不同的长度为N的消息，都可以在长度为N的随机变量序列X=X1X2…XN中出现。所以从状态空间的角度说，时域上无限长的随机变量序列X=X1X2…XN…表示的多符号离散平稳信源，可以由有限长度N的随机变量序列X=X1X2…XN来表示。首先我们考虑对于N次扩展后的离散无记忆信源，通过计算发现扩展后的信源的信息熵是原来未扩展的N倍。即H(XN)=NH(X)。一般我们考虑的信源都是这样的，