信息论课件2-2-3~5.pptVIP

* 方法2：逐个检查 第1次: x1坏,获得信息量=3bit,可能性较小1/8； x1通,其余7只中1只坏,坏灯泡的不确定性：log27=2.8073bit 获得信息量=3-2.8073=0.1927bit,可能性较大7/8 第1次所获得的平均信息量: “对半开” 第1次所获得的平均信息量: bit bit * 互信息量 在有3个变量的情况下,符号xi、yj 、 zk之间的互信息量。 1、符号xi与符号对(yj , zk)之间的互信息量为 2、在已知事件zk的条件下,接收到yj后获得关于某事件xi的条件互信息为 * 互信息量 在有3个变量的情况下,符号xi与符号yj , zk之间互信息量的关系 说明：一个联合事件(yj zk)出现后所提供的有关xi的信息量I(xi;yj,zk)等于zk事件出现后提供的有关xi的信息量I(xi;zk),加上在给定zk条件下再出现yj事件后所提供的有关xi的信息量 I(xi;yj|zk)。 * (1) (2) (3) * 三维联合集XYZ上的平均互信息量 * 在N维U1 U2 … UN联合空间,有： * 平均互信息与各类熵的关系 熵只是平均不确定性的描述; 不确定性的消除(两熵之差)才等于接收端所获得的信息量。 获得的信息量不应该和不确定性混为一谈 * 维拉图 H(X|Y) H(X) H(Y) H(XY) H(Y|X) I(X;Y) * 条件熵 H(X|Y)：信道疑义度，损失熵 信源符号通过有噪信道传输后所引起的信息量的损失。 信源X的熵等于接收到的信息量加上损失掉的信息量。 H(Y|X)：噪声熵，散布熵 它反映了信道中噪声源的不确定性。 输出端信源Y 的熵H(Y)等于接收到关于X的信息量I(X;Y)加上H(Y|X),这完全是由于信道中噪声引起的。 * 收发两端的熵关系 I(X;Y) H(X) H(Y) H(X/Y)疑义度 H(Y/X)噪声熵 * 若信道是无噪一一对应信道,信道传递概率： 计算得: * 若信道输入端X与输出端Y完全统计独立 则: * 【例】已知信源消息集为X={0,1},接收符号集为Y={0,1}，通过有扰信道传输，其传输特性如图所示，这是一个二进制对称信道BSC。已知先验概率 , 计算平均互信息量I(X;Y)及各种熵。 0 1-ε 0 1 1-ε 1 图 二进制对称信道 ε ε 记 q(x)为信源输入概率；q(0)=q(1)=0.5 ω(y)为信宿输出概率； p(y︱x)为信道转移概率； φ(x︱y)为后验概率。 * （1）由图得 ，先算出p(xi yj)= q(xi)p(yj︱xi) （2）计算 得： * （3） 计算后验概率，得： （4）计算各种熵及平均互信息量： 信源熵 信宿熵 联合熵 = -2 × 0.5 (1-ε) log 0.5(1-ε)-2 × 0.5εlog 0.5ε = log2 - (1-ε) log (1-ε)-εlogε = log2 + H 2 (ε) 式中： * 散布度 = -p(00) log p(0︱0)-p(01) log p(1︱0)-p(10) log p(0︱1)-p(11) log p(1︱1) = -2 × 0.5 (1-ε) log (1-ε)-2 × 0.5εlogε= H 2 (ε) 可疑度 = -p(00) logφ(0︱0)-p(01) logφ(0︱1)-p(10) logφ(1︱0)-p(11) logφ(1︱1) = -2 × 0.5 (1-ε) log (1-ε)-2 × 0.5εlogε= H 2 (ε) 平均互信息量 I(X ; Y)= H(X)+ H(Y)- H(XY) = log2 + H 2 (ε) * 第一级处理器 第二级处理器 X Y Z 输入 级联处理器 2.2.4 数据处理中信息的变化 数据处理定理 : 当消息通过多级处理器时,随着处理器数目增多,输入消息与输出消息间的平均互信息量趋于变小 假设Y条件下X和Z相互独立 证明: 图中：X是输入消息集合