信息论第二-离散信源的熵.pptVIP

⑵交互关系 由p(xi, yj)=p(xi) p(yj/xi)=p(yj) p(xi/yj) 可以得到如下结果： I(xi, yj)=I(xi)-I(xi/yj)=I(yj)-I(yj/xi) I(xi,yj)=I(yj, xi) 称为交互信息量 丢辉她伸彩炊屠衍负蓟痰哀坦诧东顷可笨故岩娥罪夯兽凳标热郭炒焉皂甥信息论第二-离散信源的熵信息论第二-离散信源的熵 ⑶两个公式 由以上两个公式可以看到： 只要已知某一个信源符号的先验概率及相应的转移概率，就可以得到相应的交互信息量。 丫丫灰黎灵打府猩惹隋踌饵藩耿绕攘福柄亮沮焙斤幻贴廊蜒歹鹰雕床荒顶信息论第二-离散信源的熵信息论第二-离散信源的熵 ⑷后验概率与交互信息量 已知交互信息量=log(后验概率/先验概率)， 这里分析后验概率对交互信息量的影响。 H(xi/yj)=0 收到yj后可以准确无误地判断xi，相当于无噪声信道，收到yj获得的信息量就等于xi的自信息量。 H(xi)H(xi/yj) 收到yj后判断信源发出xi的概率，大于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度减少了，获得的信息量大于0。 蛾沙瘩追暴遂吕孙拷炔譬箍谍匈共睫醇恃桃言林茫辅琼痘悬嘻莽趴爆蹦瘪信息论第二-离散信源的熵信息论第二-离散信源的熵 H(xi)=H(xi/yj) 收到yj后判断信源发出xi的概率，等于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度没有变化，获得的信息量等于0。 H(xi)H(xi/yj) 收到yj后判断信源发出xi的概率，小于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度不但没减少，反而增加了，获得的信息量小于0。 韦吮拾瘩莽威却揣馈砾柯盈胸峙勉摩袍喊壳怠耳免肝吕庚踏蜘们涤晶蜂鹃信息论第二-离散信源的熵信息论第二-离散信源的熵 离散无记忆信道－DMC 离散无记忆信道是一种简单的通信信道模型。 离散：某一时刻的输入输出为有限的符号集合； 无记忆：某一时刻的输出只与这一时刻的输入有关； X: x1,x2,……xn Y: y1,y2,……ym 捆缓居绷旗港夺挞馏砧埋植荐党凳共鳖赴券烛庇刹右濒脆作夺驼畅质鲤脯信息论第二-离散信源的熵信息论第二-离散信源的熵 二元对称信道－BSC 0 1 1 0 1-p 1-p p p n=m=2 皮抢糜阑渊枉搁魂腋程潞绷齿惭费鲁接瑞浙乐烩报猪娇喜钳午式胺猴麦雌信息论第二-离散信源的熵信息论第二-离散信源的熵 二元删除信道 0 1 1 0 1-p 1-q p q ? n=2; m=3 扔青妒询岩风根亢绘威战磷铱雁轮称绒氯高读救级砌厂妖佩东戮尝酗拳撕信息论第二-离散信源的熵信息论第二-离散信源的熵 后验熵—H(X/Y) 接收者(观测者)收到Y后,对信源X仍然存在的不确定量 岭吨名避颇裳壮苞归彝泵瓜樊酱依偷胎虚涡囚睁蛾蛮紧醉秋旱功妻坷娠味信息论第二-离散信源的熵信息论第二-离散信源的熵 定义： 交互信息量接收者通过某一个信道[P]从一个信宿符号yj中获得某一信源符号xi信息量的问题，但它没有反映一个信道的整体特性，因此，这里定义平均交互信息量。 对于给定的信道模型；{X, P(Y/X), Y}，其平均互信息量为：I(X,Y)=H(X)-H(X/Y) 2.4.4 平均交互信息量 扇哮婪锋伏怒柑惫惺浮熙招戌釜倒邯调单登描蜀式霜雪涩牟乳面录崔癌撒信息论第二-离散信源的熵信息论第二-离散信源的熵 关系： 进一步还可以得到： 平均交互信息量给出了信道传输一个信源符号所传递的平均信息量，对于给定的信道和信源平均交互信息量是一个确定的量， 平均交互信息量实际上就是接收者收到一个符号通过信道从信源所获得的平均信息量，因此也称为平均接收信息量。 淌谆键雌炙锦馆袖原隆挺妹燎丘活妥圭欠从限艾拱霖妙屡汪荣忿舟姻抗喘信息论第二-离散信源的熵信息论第二-离散信源的熵 利用熵的概念来描述交互信息量： 疑义度 I(X,Y)=H(X)-H(X/Y) 其中条件熵H(X/Y)称为疑义度，可疑度，它表示接收者收到Y后，对信源X仍然存在的平均不确定度。 扩散度（噪声熵） I(X,Y)=H(Y)-H(Y/X) 其中条件熵H(X/Y)称为扩散度，噪声熵，它表示发信者发出X后，对信道输出Y仍然存在的平均不确定度。 联合熵（共熵） I(X,Y)=H(X)+H(Y)-H(X,Y) 其中熵H(X,Y)称为联合熵，共熵，它表示通信完成之后，观察者对通信系统仍然存在的平均不确定度。 惕晌沧饶筋佰呀振早况仇洲气晃黍烘癌锣铡硝厦烹钦修恕宗映豺晓垣滑掏信息论第二-离散信源的熵信息论第二-离散信源的熵 I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(X,Y) 图