连续随机变量的相对熵和互信息.docVIP

§6.2连续随机变量的相对熵和互信息 定义6.2.1 两个分布密度为的相对熵定义为 定义6.2.2 设有联合分布密度和边际分布密度，定义的互信息为 互信息与可微熵，条件熵有以下关系： 类似地，可以定义条件互信息 我们将相对熵和互信息的一些性质罗列如下: 性质6.2.1期中等号成立的充要条件是几乎处处成立。 性质6.2.2期中等号成立的充要条件是相互独立。 性质6.2.3期中等号成立的充要条件是相互独立。 性质6.2.4期中等号成立的充要条件是相互独立。 推论6.2.1其中等号成立的充要条件是在给定条件下相互独立。 应用性质6.2.1 我们可以证明在具有相同方差的连续分布中，正态分布有最大熵。 定理6.2.1 设服从正态分布是任一实指随机变量，则 证明 设与的各分布密度分别为和则由性质6.2.1， 所以 现在我们来计算两个正态分布的相对熵。 例6.2.1 设分别为维正态分布和分布密度。则它们的相对熵为 特别地，当分别是一维正态分布和的分布密度时我们有 §6.3连续信源的率失真函数 先给出率失真测度的概念。 定义6.3.1 称为定义在字母集上的失真测度，如果它满足以下条件： 对任意； 对任意的成立，且等号成立的充要条件是 设为两个随机变量，则它们的平方失真测度定义为 汉明失真定义为 两个维随机向量的平方是真定义为 以下给出失真函数的定义。 定义6.3.2 对给定信源定义率失真函数为 与离散情形类似，利用拉格朗日乘法算子，可得连续无记忆信源率失真函数的充要条件。 定理6.3.1 设为连续无记忆信源，条件分布密度使互信息 率失真函数充要条件是 其中 连续信源的率失真函数也有以下性质。 定理6.3.2 设为任一连续信源率失真函数，则有： 是的非增函数； 是的凸函数； 在上连续；如果，则在上连续。 以上两个定理的证明留给读者。下面给出高斯信源的率失真函数。 定理6.3.3 设高斯信源服从正态分布，则在平方失真测度下的率失为： 证明： 由率失真函数的定义知，中的也可以是对所有的符合约束条件的条件分布取值。所以我们有 我们先导出的一个下界，然后证明这个下界是可达的。由条件熵和互信息的性质以及方差固定条件下正态分布有最大熵的性质，并注意到，我们有以下推理过程： 从而， 。 为了证明下界是可达的，我们需要找到一个条件分布密度，使其对应的互信息为此，我们构造反向测试信道。令其中服从正态分布服从正态分布切与相互独立（见图6.3.1）。 图6.3.1 高斯信源测试信道 这时显然有而从而以上下界对是可达的。 当时，取即得。从而完成了我们的证明.