信息的统计度量介绍.ppt

2.3.3 条件熵 定义2-7 条件自信息量I(y|x)的概率均值定义为条件熵。 含义：知道了集合X中全部事件之后，仍然保留的关于集合Y的平均不确定性。 2.3.4 联合熵 定义2-8 联合集XY上，每对元素xy的自信息量的概率平均值定义为联合熵。 联合熵又称为共熵。 第2个关系 第3个关系 第1个关系 2.3.5 各种熵之间的关系 “=”成立的条件是X和Y统计独立 H(X,Y)=H(X)+H(Y), H(Y|X)=H(Y) 如果有N个随机变量集合统计独立，则有 H(X1,X2,…,XN) = H(X1)+ H(X2)+…+ H(XN) 如果统计不独立，则有 H(X1,X2,…,XN) H(X1)+ H(X2)+…+ H(XN) 2.4 离散集的平均互信息量 x1 x2 … xn 和 y1 p(x1y1) p(x2y1) … p(xny1) p(y1) y2 p(x1y2) p(x2y2) … p(xny2) p(y2) … … … … … … ym p(x1ym) p(x2ym) … p(xnym) p(ym) 和 p(x1) p(x2) … p(xn) 1 xi p(y1|xi)=p(xiy1)/p(xi) p(y2|xi)=p(xiy2)/p(xi) … p(ym|xi)=p(xiym)/p(xi) p(xi) yj p(x1|yj)= p(x1yj)/p(yj) p(x2|yj)= p(x2yj)/p(yj) … p(xn|yj)= p(xnyj)/p(yj) p(yj) 联合概率和先验概率 后验概率 条件概率 2.4.1 平均互信息量 定义2-9 平均互信息量 互信息量的均值 含义： 知道了集合Y之后，平均Y中的一个事件消除掉的关于集合X中一个事件的不确定性。 由集合Y中一个事件平均能够提供出来的关于集合X中一个事件的信息量。 表示了两个集合之间关系的密切程度。 平均互信息量的性质1非负性 I(X;Y)≥0 互信息I(x;y)可正、可负、可为0 平均互信息I(X;Y)可正、可为0 何时为0？ 何时为0？ x和y相互独立时 X和Y相互独立时 平均互信息量的性质2互易性（对称性） I(X;Y)=I(Y;X) 证明： 对称性表明：从集合Y中获得的关于X的信息量（I(X;Y)）等于从集合X中获得的关于Y的信息量（I(Y;X)）。 平均互信息量的性质3极值性 I(X;Y) ? H(X) I(X;Y) ? H(Y) 证明： 因为I(X;Y) = H(X)-H(X|Y)，而且H(X|Y)?0。 平均互信息量的性质4凸函数性 平均互信息量是先验概率p(x)和后验概率p(x|y)的凸函数 2.4.3 平均互信息量和各类熵的关系 回忆互信息量和自信息量的关系 I(x;y) = I(x)-I(x|y) 因此，猜想平均互信息量和熵之间有如下关系 I(X;Y) = H(X)-H(X|Y) 证明： 同理： I(X;Y) = H(Y)-H(Y|X) 由H(X,Y) = H(X)+H(Y|X)，得 I(X;Y) = H(X)+H(Y)-H(X,Y) 这些关系可以用维拉图表示 2.5 连续随机变量的互信息和相对熵2.5.1 连续随机变量的统计特征 离散随机变量用概率描述 连续随机变量用概率密度描述 概率密度函数p(x)必须满足如下两个性质： p(x)≥0 例如正态分布 概率密度函数的主要特征 连续随机变量处在区间[c, d]之间的概率等于概率密度函数、x轴、x=c以及x=d所围起来的区域的面积 2.5.2 连续随机变量的互信息 连续随机变量X和Y之间的平均互信息定义为 可以看出，连续随机变量定义的平均互信息I(X;Y)和离散集情况非常类似，只要将离散情况下的概率换成概率密度，求和化成积分即可。 连续随机变量平均互信息的性质 非负性 当且仅当连续随机变量X与Y相互独立时，等号成立。 对称性 2.5.3 相对熵 思路：从离散推导出连续 离散 对于一个连续随机事件x，xi?x?xi+?的概率约为p(xi)?。 因此xi?x?xi+?的自信息量为-log[ p(xi)?]。 进而平均自信息量为 从离散到连续：??0 此时-log???，这说明连续随机变量的熵是无穷的 联合熵和条件熵 联合熵 条件熵 2.6 本章小结 离散 连续 事件 自信息 条件 自信息 联合 自信息 互信息 集合 (均值) 熵 条件熵 联合熵 平均 互信息 熵 条件熵 联合熵 平均 互信息 关系 信息论与编码理论第2章 信息的统计度量 主要内容 从概率的角度研究问题 自信息量 互信息量 平均自信息量 平均互信息量 信息的大小 多个信息之间 关联的密切程度 2.1 自信息和条件自信息 2.