西安电子科技大学信息论与编码理论（专题讨论型）课件第二十一章 无记忆信源的有失真编码(2).pptVIP

高斯信源的信息率失真函数 高斯信源的信息率失真函数 高斯信源的信息率失真函数 同离散信源类似，率失真函数的计算也归结为求有约束极值的问题，不过在连续信源情况下试验信道的条件概率也是函数，所以率失真函数的计算就变成求泛函的极值，即求： 的极小值，满足约束条件为： 连续无记忆信源信息率失真函数的参量表述 约束条件下的泛函求极值问题和约束条件下的函数求极值问题类似，即利用拉格朗日乘子将问题转化为无约束极值问题： 其中 为待定函数，s为待定常数，其求解顺序完全类似于离散情况。 连续无记忆信源信息率失真函数的参量表述 在此我们仅给出最终结论： 在连续无记忆信源下，达到信息率失真函数的试验信道的转移概率密度函数必需满足： 其中 连续无记忆信源信息率失真函数的参量表述 此时的率失真函数 和失真D 满足参量方程： 需要说明的是，连续情况下的信息率失真函数与离散情 况下信息率失真函数的一个主要差别在于当 时，由于连续信源的差熵 而使 从此意义上讲，连续信源的熵压缩编码是必不可少的。 连续无记忆信源信息率失真函数的参量表述 平方误差(差方)失真度量下率失真函数的上限 对均值为零，方差为的 任意连续无记信源，在差方失真度量下的率失真函数满足如下结论： 等号当且仅当 时成立。 一般情况下，连续无记忆信源下信息率失真函数的计算相当困难，绝大多数情况下无解析解。但当连续信源的失真函数D (x,y)为x和y的差值形式如： (x-y)2时，可以较容易地采用参量表述式来求得其上下限。 保真度准则下的信源编码定理 保真度准则下的信源编码定理，香农第三定理 设R(D)为一离散无记忆信源的信息率失真函数，并且有有限失真测度D。对于任意 ，以及长为k的码，一定存在一种信源编码C，其码字个数为 ,使编码后码的平均失真度 。 定理的含义是：只要码长k足够长，总可以找到一种信源编码，使编码后的信息传输率略大于(直至无限逼近)率失真函数R(D)，而码的平均失真度不大于给定的允许失真度，即： 由于R(D)为给定D前提下信源编码可能达到的下限， 所以香农第三定理即说明了： 达到此下限的最佳信源编码是存在的． 保真度准则下的信源编码定理 实际的信源编码(无失真编码或先限失真编码后无失真编码)的最终目标是尽量接近最佳编码，使编码信息传输率接近最大值log r，而同时又保证译码后能无失真地恢复信源的全部信息量H(S)或限失真条件下的必要信息量R(D)。 编码后信息传输率的提高使每个编码符号能携带尽可能多的信息量， -----使得传输同样多的信源总信息量所需的码符号数大大减少 香农第三定理仍然只是个存在性定理，至于最佳编码方法如何寻找，定理中并没有给出，因此有关理论的实际应用有待于进一步研究。 如何计算符合实际信源的信息率失真函数R(D)? 如何寻找最佳编码方法才能达到信息压缩的极限值R(D)? 这是该定理在实际应用中存在的两大问题，它们的彻底解决还有赖于继续的努力。 尽管如此，香农第三定理毕竞对最佳限失真信源编码方法的存在给出了肯定的回答，它为今后人们在该领域的不断深入探索提供了坚定的信心。 无记忆信源的有失真编码——率失真理论(2) 第二十一讲 率失真函数的基本性质 性质1 性质2 R(D)是关于平均失真度D的下凸函数 设 为任意两个平均失真， ，则有： 性质3 R(D) 是 区间上的连续和严格单调递减函数。 率失真函数的基本性质 率失真函数示意 离散无记忆信源的信息率失真函数 已知信源的概率分布P(u)和失真函数d(u,v)，就可求得信源的R(D)函数。原则上与信道容量一样，是约束条件下求极小值问题，即适当选取试验信道P(v/u)使平均互信息最小化。 其约束条件为: 二元对称信源的R(D)函数 设信源U={0,1}, 其概率分布P(u)=[?,1- ?], ??1/2, V= {0,1}. 设汉明失真矩阵是 Dmin=0，满足该最小失真的是一个无噪无损信道, 其信道矩阵为 R(0)=H(?) 要达到Dmax的试验信道为 二元对称信源的R(D)函数 当0DDmax时 pe是试验信道的平均错误概率。 二元对称信源的R(D)函数 任选取一信道使