基于反向试验信道的率失真函数计算方法.docVIP

基于反向试验信道的率失真函数计算方法 游雪肖 （湖北师范学院 数学与统计学院，湖北 黄石 435002） 摘要：针对离散无记忆信源率失真函数的计算问题，提出了一种基于反向试验信道的率失真函数的计算方法，该方法利用互信息与熵的关系，采用Lagrange乘数法，从反向试验信道的角度给出了率失真函数的参量表示式，并分析了该参量表示式中参数的物理意义。该方法可直接计算率失真函数，避免了率失真函数计算时先计算互信息的最小值，后讨论最小值可达的问题，并且将其与正向试验信道参量表示式相比，该方法更简洁有效.从该方法还可以看出，无论正向试验信道还是反向试验信道，它们只是一个信道从两个不同角度考虑的两种不同表示方法而已。 关键词：信息论；反向试验信道；率失真函数；Lagrange乘数法 中图分类号：O236 在信息处理过程中，由于种种干扰因素的存在，不可避免地要丢失信息，产生失真。对于给定的信源，总是希望它的信息经过处理后所产生的平均失真在一定允许限度内的情况下，使得信源传输的信息率尽可能的小，这个最小值就是信息率失真函数.一般可用Lagrange乘数法求解，求得关于试验信道亦即未知量的参量表示[1-5]，或先求出互信息的最小值，然后从反向试验信道角度构造反向试验信道证明最小值可达[1-5]，构造反向试验信道通常不是那么容易，只有对非常特殊的信源和失真函数才能构造。针对后一种方法及其缺陷，笔者利用互信息与熵的关系，从反向试验信道角度以为未知量直接讨论的参量表示以及参量的物理意义，并通过与文[6]的比较可知，反向试验信道和正向试验信道，参量的意义是一样的，且都是的斜率。 1 预备知识 设离散无记忆信源，信源符号通过信道传送到接收端，，信道的传递概率矩阵 ，. 定义1 信源的熵定义为 ， 信源的联合熵定义为， 在给定信源的条件下，的条件熵定义为. 定义2 信源的互信息定义为 由，， ，很容易证得 定理1 （1.5） （1.6） （1.7） 定义3 对每一对，指定一个非负函数，；，称为失真函数或失真度. 例如汉明失真． 定义4 称为信源的平均失真度． 定义5 满足的称为失真许可的试验信道，简称试验信道． 定义6 定义信息率失真函数为 2 信息率失真函数的参量表述 2.1 问题的提出与转化 计算信源的信息率失真函数，即在已知信源的概率分布和失真函数，；的条件下求得.在文献[1-5]中，的计算以为未知量，利用Lagrange乘数法求解条件极值问题，从本质上都是利用式(1.5)，本文利用式（1.6）和（1.7），以为未知量，利用Lagrange乘数法求解下述条件极值问题，得到了关于反向试验信道的率失真函数参量表示式. 由定义6可知，率失真函数的计算实际上是求在约束条件下的极小值问题，即 （2.1） （2.2） 2.2 的参量表达式 为了在式（2.2）的个条件的限制下，求的极值，可引入Lagrange乘数、和，利用式（1.7）构造一个新的函数 （2.3） 上式两边对求偏导数，并令其为0，即 （2.4） 将式（2.3）代入式（2.4），得 由，并令，则 ，； （2.5） 上式两边对求和并注意条件（2.2），有 （2.6） 式（2.5）两边同乘，再对求和，得 （2.7） 由式（2.6）解出，代入式（2.5）中得到，代入式（2.7）中得到，将这些结果代入约束条件，可得 （2.8） （2.9） 2.3 参量的意义 首先将对的求导数，则得 其次，在式（2.6）的两边对求导数，可得 将上式两边乘以，并对求和，得 即 由式（2.7）得 将上式代入的表达式中，则得 上式表明，参量是信息率失真函数的斜率。由此可见，在反向试验信道计算得到的信息率失真函数具有与正向试验信道相同的意义。 2.4 求解过程归纳 步骤如下： 第一步：由（2.2）式求出； 第二步：由（2.1）式求出； 第三步：由（2.3）式求出； 第四步：由式（2.8）求出. 第五步：由式（2.9）求出. 3. 求解举例 例 设信源为，接收符号集为，计算它在汉明失真下的率失真函数． 解：，解之得 ，整理得，解之得 解得，亦即，所以 由可计算得， ， . 参考文献 [1]王育民，李晖，梁传军.信息论与编码理论[M].北京：高等教育出版社，2005． [2]曲炜.信息论与编码理论[M].北京：科学出版社，2005． [3]陈运.信息论与编码[M].(第2版).北京：电子工业出版社，2007． [4]田宝玉.信息论基础[M].北京：人民邮电出版社，2008． [5]叶中行.信息论基础[