第二章：信息论的基本浅析.ppt

相对熵的极值性 ?? 詹森不等式：设函数f x 在区间A中连续，概率密度函数满足 ，当f x 是上凸函数时，有 因f x logx是上凸函数，设q x 为另一概率密度函数，所以 表明，相对熵存在最大值，与离散信源的熵H X 类似 若等式成立，则表明 达最大值 相对熵的上凸性 设 是单维连续信源X的两种概率密度函数，则有 设 则 故 亦可看作连续信源X的另一种概率密度函数 是上凸函数 最大相对熵定理 由h X 的上凸性和极值性可知，h X 的最大值就是h X 的极大值。一般，单维连续信源X要受约束条件的限制： 对于单维连续信源Ｘ，在取值区间[a,b]内，若有这样一个概率密度函数p x ，对另一个满足同样约束条件的概率密度函数q x ，有 则这个函数p x 就是能使单维连续信源Ｘ的相对熵hp X 达到最大值的概率密度函数。 峰值功率受限最大熵定理 对于输出消息的峰值功率受限的单维连续信源，当输出消息的概率密度是均匀分布时，相对熵达到最大值。 均匀分布的概率密度函数 在满足公式 111 时可求： 最大相对熵 峰值功率受限实质上就是取值区间受限。 当 ， 是信源X的输出幅值， 是信源X的峰值功率。 均值受限最大熵定理 对于输出非负消息且其均值受限的单维连续信源，当输出消息的概率密度是指数分布时，其相对熵达到最大值。 指数分布的概率密度函数 最大相对熵 只取决于限定均值a 在满足公式 111 时可求： 平均功率受限最大熵定理 对于输出消息的平均功率受限的单维连续信源，当输出消息的概率密度是高斯分布时，相对熵达到最大值。 高斯分布的概率密度函数 最大相对熵 对于均值为零 m 0 的连续信源， 在满足公式 111 时可求： 定义 如果信道的输入和输出均是一个取值连续的随机过程，则称为连续信道 如果输入和输出均是一个取值连续的随机变量，则称为单维连续信道 §2.3.4连续随机变量下的互信息 单维连续信道 单维连续信道：信道输入和输出均是一个取值连续的随机变量。 输入区间： 输出区间： 信道传递概率密度函数： 且 若有连续信源Ｘ ： 且 接入信道，因 信源的取值区间与信道的输入区间 相同，故信源的任一可能取值 都能通过信道，以概率密度 在信道输出端出现信道输出区间 中的某一值 ，从而在信道输出端形成连续随机变量Y 平均交互信息量 可见平均交互信息量有三种表示方式 平均交互信息量的3种表示形式： 在两信息熵的“熵差”问题中，相对熵替代了信息熵的作用。 与离散信道的平均交互信息量相比，输入区间和输出区间代替了单符号离散信道的取值离散的输入符号集合输出符号集合，二重积分代替了二次求和。因而，单维连续信道的平均交互信息量与单符号离散信道的平均交互信息量具有相同的数学特性。 平均交互信息量的特性 ? 非负性： , 当且仅当 统计独立时， ? 交互性： ? 极值性： , 但 , 不成立 ?上凸性：如同离散信道的平均交互信息量一样 其中: 在信息处理中，经常要对所获得的数据进行进一步分类，并进行归并处理。即将可接受到的有限数据空间 Y,q 归并为另一类处理后的有限数据空间[z D y ,p].它可表示为: 信息不增性原理—信号数据处理定理 即将m’个元素归并为一个子集合， 其对应概率: 经过数据处理以后与处理前相比较，两者从发送端可获得的互信息量是增加了还是减少了，为此有下列定理: 信息不增性原理—信号数据处理定理 （续） 证明 1 设： 定理：在信息处理中，数据经归并处理后有如下结论： 信息不增性原理—信号数据处理定理 （续） 则有： 这时， 信息不增性原理—信号数据处理定理 （续） 由此可见，经过分类、归并处理后信息只能减少，不能增加，故称为信息不增性原理。 信息不增性原理—信号数据处理定理 （续） 先证 即： 信息不增性原理—信号数据处理定理 （续） 信息不增性原理—信号数据处理定理 （续） 同理，可证： 故结论②成立。 它说明，要想减少信息损失，必须付出代价。比如，多次接触信源，但无论接触多少次，也决不会获得超过信源可提供的信息熵H X 。 * * * * §2.2.2 互信息函数的性质 互信息与Q矩阵的关系 性质2 ：I p;Q 是Q的下凹函数. 理解：Q 可以看成信道转移概率分布 I p;Q Q Q’ 信道1 信道2 信道 §2.2.2 互信息函数的性质 互信息与p x 的相关性的关系 性质3: 若概率矢量p是离散无记忆的, 证明参见傅祖芸“信息论-基础理论与应用（第二版）”p118 §2.2.2 互信息函数的性质 互信息与Q的相关性的关系 性质4: 若条件概率矩阵Q是离散无记忆的, §2.2.2 互信息函数的性质 互信息与p x 及Q的相关性的关系 推论: 若概率