西安电子科技大学信息论与编码理论（专题讨论型）课件第四章 互信息.pptVIP

熵的凸性 证明： 令 则 由于 当且仅当 时等号成立 平均互信息量为先验概率p(i)和信道转移概率p(j/i)的函数，可以记为： I(X;Y)=f[P(X);P(Y/X)] 平均互信息的凸性 输入分布给定， I(X;Y)随转移概率变化 转移概率给定， I(X;Y)随输入分布变化 当信道一定时，平均互信息是信源先验概率的上凸函数 对于一定的信道转移概率分布，总可以找到一个先验概率分布为P的信源X，使平均互信息达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。 不同的信道转移概率对应不同的Imax，或者说Imax是P(Y/X)的函数。 平均互信息的凸性 令q1和q2是输入集X上的任意两个概率矢量，相应的互信息为I1和I2，令0θ1，q=θq1＋(1-θ)q2 求证 当信道一定时，平均互信息是信源先验概率的上凸函数 令 则有 根据平均互信息的定义，可得 因为 log x 是严格凸∩函数， 利用Jensen不等式， 可得 当信源一定，平均互信息是信道转移概率的下凸函数 对于一个已知先验概率为P的离散信源，总可以找到一个转移概率分布为P(Y/X)的信道，使平均互信息达到相应的最小值Imin。 可以说不同的信源先验概率对应不同的Imin，或者说Imin是P(X)的函数。即平均互信息的最小值是由体现了信源本身的特性。 ? 平均互信息的凸性 令 和 是两个任意条件概率分布，相应的互信息为I1和I2，令0θ1， 求证 当信源一定，平均互信息是信道转移概率的下凸函数 令 根据平均互信息的定义，可得 因为 log x 是严格凸∩函数， 利用Jensen不等式， 可得 本节小结 (内容见课本10-18页, 28-31页, 39-45页) 定义及含义 与熵的关系 性质：对称性、非负性、极值性 信息处理定理 凸性 信道一定时，平均互信息是信源先验概率的上凸函数 信源一定时，平均互信息是信道转移概率的下凸函数 作 业 2.10 2.11 2.12 2.18（后5个证明） 互信息 第四讲 熵的性质 多符号离散信源的信息测度 非负性、对称性、确定性、扩展性、可加性、 极值性、上凸性、唯一性 离散无记忆信源 离散有记忆信源 非负性、对称性、确定性、扩展性、可加性、 极值性、上凸性、唯一性 Review 极限熵 （1）条件熵H (XL|X1X2···XL-1)随L的增加非递增 离散有记忆信源特点 （3）平均符号熵HL(X)随L的增加非递增 H1(X)≥H2(X)≥…≥H∞(X) （2）L给定时, H L(X)≥ H (XL|X1X2···XL-1) （4） Review 冗余度 表明信源的记忆长度越长，熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。 为了定量地描述信源的有效性，定义: 相对率 冗余度 Review 互信息 第四讲 设有两个随机事件X和Y ,X取值于信源发出的离散消息集合, Y取值于信宿收到的离散符号集合 信 道 干扰源 信源X 信宿Y 互信息定义 定义：X和Y之间的平均互信息量定义为 由定义，可得 互信息定义 仿照自信息量，我们也可以定义非平均互信息量 表示接收到消息yj后获得关于事件xi的信息量。 互信息定义 平均互信息 对称性 当X和Y相互独立时，互信息为0 互信息量可为正值或负值 I(xi;yj)≤I(xi) , I(xi;yj)≤I(yj) 互信息性质 某地二月份天气构成的信源为 现有人告诉你:“今天不是晴天”，把这句话作为收到