第六讲西电通院考研复试材料(试题+课件).pptxVIP

第二章：信息量及熵 §2.1 离散型随机变量的非平均信息量（事件的信息量） §2.2 离散型随机变量的平均自信息量（熵） §2.4 离散型随机变量的平均互信息量 §2.5 连续型随机变量的平均互信息量及相对熵 §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 谨敝担儡频侥膨账悸归昨总貉钞诀驴录铣操她丝乡轮矣喷抉哼惹阅慧展晦第六讲西电通院考研复试资料(试题+课件)第六讲西电通院考研复试资料(试题+课件) 1 §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 记离散型随机变量X的事件为1，2，…，K。 记X的概率分布为P(X=k)=qk，k=1~K。 记离散型随机变量Y的事件为1，2，…，J。 记条件概率P(Y=j|X=k)=p(j|k)。则 rkj=P((X, Y)=(k,j))=qkp(j|k)，（概率论中的乘法公式） wj=P(Y=j)=∑k qkp(j|k)，（概率论中的全概率公式） 高渠归堡愁刽困规弛配侈夏斌弥查距褐削炯僚坯豁恋挑宇穷多恼业置煌拙第六讲西电通院考研复试资料(试题+课件)第六讲西电通院考研复试资料(试题+课件) 2 §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 设条件概率{p(j|k)，k=1~K，j=1~J}被确定。此时I(X, Y)是概率向量q=(q1, q2, …, qK)的函数。我们希望找到这样的概率向量，使得对应的I(X, Y)达到最大。这就是说，记 我们希望找到这样的K维概率向量a=(a1, a2, …, aK)，使得 轮瑞痪快樊栋君枕顿硕兑呢捕杯姬厂怔津球戎岭桑穆肤化羔翔耳玻膝焊毛第六讲西电通院考研复试资料(试题+课件)第六讲西电通院考研复试资料(试题+课件) 3 §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 定理2.6.2的含义 K维概率向量a=(a1, a2, …, aK)使得 当且仅当：以a为X的概率向量的时候，I(X=k; Y)对所有ak0的k都取一个相同的值C； I(X=k; Y)对所有满足ak=0的k都取值不超过上述的相同值C 。 豹谷骚讣撰夏游斥帛冶仪话吓兄舱疾加啄磋勾睁诉株沧摘转烤管效裙恨甘第六讲西电通院考研复试资料(试题+课件)第六讲西电通院考研复试资料(试题+课件) 4 §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 I(X=k; Y)表示什么？表示事件X=k与随机变量Y之间的“半平均互信息量”。 匈怖拟羌暂国疼发级牲瞥晓剂钎谍趾斯衙替掣拟风布粘屹眨备役楔悲从而第六讲西电通院考研复试资料(试题+课件)第六讲西电通院考研复试资料(试题+课件) 5 §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 例 设X的事件有0、1； Y的事件有0、1； 已知 p(0|0)=1-u；p(1|0)=u；p(0|1)=u；p(1|1)=1-u。 当X服从等概分布（a0=P(X=0)=1/2；a1=P(X=1)=1/2）时，I(X;Y)达到最大。因为此时 他核晤贾赌买哎寓琅酚摈顾慷欺眺谍鸥搏蓖昆荒逸稀辱叮弯沮娱天苍横曳第六讲西电通院考研复试资料(试题+课件)第六讲西电通院考研复试资料(试题+课件) 6 §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 刮艰组柞汁哼辟誓褥箩啡萨净慷矿县妮澜损瘟彪蔚痉同碘运共差夷楞黎浓第六讲西电通院考研复试资料(试题+课件)第六讲西电通院考研复试资料(试题+课件) 7 小结 睫肚仿岁鲍膳是片坪斥掷揪亲戮璃栈惯毅簿贞爱垃培端谢弹损储火汹悦近第六讲西电通院考研复试资料(试题+课件)第六讲西电通院考研复试资料(试题+课件) 8