第2章 -1信源与信息熵1【单符号离散信源】.ppt

* 不利于 * 闪电过后一定打雷，概率为1。（雷公和火闪娘娘） 闪电过后不一定下雨，风一吹，烟消云散。——有可能光打雷不下雨 闪电与雾天没有关系，后验概率=先验概率。 信宿（接人的）得知今天要出现闪电，飞机还能不能正点起飞？ * 一个联合事件yjzk出现后所提供的有关xi的信息量I(xi;yjzk) 等于 zk事件出现后提供的有关xi的信息量I(xi;zk), 加上 在给定zk条件下再出现yj事件后所提供的有关xi的信息量 I(xi;yj/zk)。 * [附]贝叶斯公式：p(xi yj)=p(xi)p(yj /xi)=p(yj)p(xi/ yj) * [ * * 若没有干扰，Y是X的确知一一对应函数，那就能完全收到X的信息H（X） * * 信息不增原理—— 每经一次 处理，可能丢失一部分信息， 即数据处理过程中只会失掉一些信息，绝不会创造出新的信息。 任何信息处理过程总会失掉信息，最多保持原来的信息，一旦失掉了，用任何处理手段，也不可能再恢复丢失的信息。 * 极值性——对任意概率分布pi，它对其他概率分布qi的自信息量-logqi取数学期望时，必不小于 pi本身的熵。等号仅当 P=Q时成立。 * 各p(xi)次序可换 各p(xi)次序可换 * 某消息取值概率为1时，熵为0 * 极限性 * 即熵的极值性： * (2):全概率公式 (3)贝叶斯公式 * 已知先验概率、条件概率。 * 全概率公式 * * 由贝叶斯公式求联合概率， 由联合概率求边际概率p(Y),___列的和。 由联合概率、条件概率可求H(Y|X)=1.95——12项加起来，但用H(Y/X) =H(XY)- H(X)更简单。 * 偶数——正确传输—概率1 奇数——正确传输概率0.5、错误传输0.125 信宿收到消息符号的概率，偶数通过计算为0.1、奇数通过计算为0.1——等概率，最大值H(Y) * 噪声熵的计算：信宿收到的偶数部分为0，因为其条件概率为1 信宿收到的奇数部分，分正确收到的、错误收到的。 * 与例2-10,p23类似，互信息，后验概率。 * 贝叶斯公式，再读上页表格中的数据。 * 解法2： 因为 p（u0）=p（u1）=1/2， 所以 H(U)=- p（u0)log2 p（u0） - p（u1)log2 p（u1） =1 比特/符号 H（UV）＝H（U）＋H（V／U） = 1＋0.91 ＝1.91比特/符号 * (4）可求出 p(v0)= p(u0v0)+p(u1v0) =3/8+1/4 =5/8 p(v1)= p(u0v1) +p(u1v1) =1/8+1/4 =3/8 H（V）=H（3/8，5/8）=0.96 比特/符号 ∵ H（UV）= H（V）+ H（U/V） ∴ H（U/V）=H（UV）- H（V） =1.91- 0.96 =0.95 比特/符号 * 例：有一信源U包含8个消息0—7，为了便于在二进制信道上传送，将它们编为三位二进码，信源的先验概率及相应的代码如下： 试求：⑴ 填上表格中的后三列 ⑵ x0与各消息的互信息量 ⑶ 在收到（给定）x0条件下，y1与各消息的互 信息量。 ⑷ 在收到（给定）x0y1条件下，z1与U3消息的 互信息量. ⑸ 收到整个代码组x0y1z1出现后提供的有关消 息U3的互信息量。 自阅例题2-10,p23——互信息,后验概率 * 信源消息 二进制代码 先验 概率 收到0后的后验概率 收到01后的后验概率 收到011后的后验概率 0（U0） 000（x0y0z0) 1/4 1（U1） 001（x0y0z1) 1/4 2（U2） 010（x0y1z0) 1/8 3（U3） 011（x0y1z1) 1/8