第五章 限失真源编码和率失真函数修改.ppt

* * 从而， 即（5.4）定义的 是有意义的。 此时有 且 及(5.3)的下界是可达的。当 时，取 可得 综上所述，我们得到  1 0 图5.2.2 二进信源的率失真函数 以下讨论一般率失真函数的计算问题，即在约束条件 (5.5) 下求解 对（5.5）引入待定系数 对（5.6）引入待定系数 构造 (5.6) (5.7) 拉格朗日函数 对 求导，利用Kuhn-Tucker条件得， 达到（5.7）中最小值的充要条件是 （5.8） 先讨论 的情况，记 则 其中 。 令 则有 和 （5.9） 利用（5.5）中的条件得 两边乘 再对 求和得 当 时，上式两端同除 得 （5.10） 将（5.6）中的 用（5.9）代入，连同 个方程和 个未知量 一般可以求解。再用（5.9）可得 的条件概率分布 对 的情形，只须将（5.10）中的等号 即 （5.11） （5.10）共有 达到 变成不等号 (5.10)和(5.11)是与(5.8)等价的Kuhn-Tucker条件， 它们可以用来检验一个给定的 的解，但对一般的信源用此方法计算 是否达到 并不简单。 5.3 限失真信源编码定理 本节我们给出限失真信源编码定理，作为准备，先介绍失真典型序列的概念及其性质。 定义5.3.1 设二维随机向量 为独立同分布且有公共分布 ， 为 上的有界失真测度。对任意给定的 称序列对 为失真 典型序列，如果它们满足以下条件： （i） (5.12) （ii） (5.13) （iii） (5.14) (iv) (5.15) 我们将失真 典型序列的全体所构成的集合记为 ，称为 典型序列集。显然 有 。 以下讨论失真 典型序列的性质。 引理5.3.1 设 为独立同分布随机 向量序列，其公共分布为 则 证明 由已知 为独立同分布随机向量序列，且 由大数定理， 依概率1收敛到 对任意给定的 如记 则当 充分大时， 又由 联合典型序列集 的性质知，当 充分大时， 于是由 所以 证毕。 引理5.3.2 当 时， 证明：设 则由定义5.3.1可得 上式两端同乘 即可。 引理5.3.3 对任意 ，和任意自然数 ，有 证明 令 ，则 故当 时， 从而 对任意 成立。上式两边同乘 次方得 这表明引理在 时成立。又 时，引理显然成立。而函数 为离散无 在 时为 的凸函数，故 定理5.3.4（限失真信源编码定理）设 记忆信源，则 （i）(正定理) 对任意的 ，必存在一个 码，使 (ii) (反定理) 对任意满足条件 的 码，必有 证明 (i) 设 为达到 的条件概率分布，这时 设信源依概率 发送消息 我们先构造随机码和编译码方案，进而估计误差 概率。依概率 随机独立产生 个码字，构成一个随机码 编码：对给定信源 ，如果存在 使 ，则将 编码为 否则编码为 译码：译码器收到码字 时译为 我们称上述码为率失真码。以下估计误差概率。 对于固定的随机码 和任意选定的 可以将序列 分为两类：(a)存在码字 使 ，即 我们记这种序列 的全体为 (b) 这时就会出现译码错误。记 则 （5.16） 下面证明 可以任