平均互信息的凸性分析.pptVIP

* * * * * * * * * * * * * 定理2.5.3 当集X的概率分布保持不变时，平均互信息量是转移概率分布p(y/x)的下凸∪函数。 证明： 令p1和p2是两个任意转移概率分布，相应的平均互信息为I1和I2，令θ满足0≤θ≤1,p=θp1＋(1－θ)p2是合成条件概率分布，此时输入X和输出Y之间的互信息为I。今需要证明 . 令 根据平均互信息的定义，得 因为logx是严格凸∩函数，利用Jensen不等式，所以 证毕 当信源一定，平均互信息是信道转移概率的下凸函数 对于一个已知先验概率为P的离散信源，总可以找到一个转移概率分布为P(Y/X)的信道，使平均互信息达到相应的最小值Imin。 可以说不同的信源先验概率对应不同的Imin，或者说Imin是P(X)的函数。即平均互信息的最小值是由体现了信源本身的特性。 ? 平均互信息的凸性 离散随机矢量 信道 X Y 问题： 如果输入是相互独立的，输出Y所提供的关于输入X的信 息量比每个Yi所提供的关于Xi的信息量的总和要多。 信道 X Y 本章小结 熵、互信息定义及含义 互信息与熵的关系 信息处理定理 凸性 信道一定时，平均互信息是信源先验概率的上凸函数 信源一定时，平均互信息是信道转移概率的下凸函数 微分熵的定义及与熵的差别 * * * * * * * * * * * * * * * * * * * * * * * 平均互信息的凸性 第五讲 平均互信息 定义及含义 信息/数据处理定理 Review 性质： 对称性、非负性、极值性 山农信息论： 为设计有效而可靠的通信系统提供理论依据 2.给定信道，实现可靠通信的最大的传输速率即信道容量？ 信源编码定理：RR(D) 信道编码定理：RC 问题：对应互信息的最大值和最小值是否存在？ 互信息凸性 回答2个问题：有效性，可靠性 1.给定信源，保精度信源编码所需最小编码速率？ 凸集 若集合 （n维欧氏空间），有 且对任意实数 ，有 显然，n维欧氏空间 为一凸集合。 0≤λ≤1 则称为C为凸集合。 概率矢量构成集合为凸集 定义 若一个K维矢量? =(?1, ?2, …, ?K)的所有分量为非负的，且和为1，即就称?为概率矢量。 引理 概率矢量全体所构成的区域R是凸的。 证：若?,β∈R，对0≤?≤1构造矢量?=??＋(1-?)β 因此? 是概率矢量，仍属于R，所以R是凸的。 凸函数定义 定义在凸集R上的一个实函数f，若它对所有α，β∈R和0≤?≤1满足 ? f(?)+(1－? ) f (β)≤f (? ?＋(1－? )β) 就称函数f为R上的凸∩函数。 若式中不等号的方向相反，就称f为凸∪函数。 若等号仅当?=0或1时成立，就称f为严格凸∩或严格凸∪的。 在[a,b]上定义的上凸函数 在[a,b]上定义的下凸函数 凸函数性质 1) 若f(?)是凸∩的，则-f(?)是凸∪的，反过来也成立。 2) 若f1(?), f2(?),…, fL(?)是R上的凸∩函数，c1,c2,…,cL是正 数，则 为R上的凸∩函数，若其中任一个是严 格凸的，则和式也是严格凸的。 3) (Jensen不等式) 若f(?)是R上的凸∩函数，则 E[f(?)] ≤ f (E (?)) Jensen不等式: 若f(?)是R上的凸∩函数，则 E [f(?)] ≤ f (E (?)) 其中，E表示数学期望。 证明：只对离散情况证明。 对于离散变量，令 ，则E [f(?)] ≤ f (E (?)) 可写成 可用归纳法进行证明。对两点分布，根据凸函数的定义有 假设当分布点个数为n时不等式成立，考察分布点个数为 n+1时的情况。 对 ，令 则有