离散变量的非平均信息量.pptVIP

熵的性质－极值性 引理1: lnx≤x-1 引理2： H(X|Y) ≤H(X) H(U1…UN) ≤H(U1)+…+H(UN) 熵的性质－凸性 H(P)是P的上凸函数 2.3 离散集的平均互信息量 平均互信息量 定义2.4.1(平均互信息量) 给定一个二维离散型随机变量{(X, Y), (xk, yj), rkj, k=1~K; j=1~J}（因此就给定了两个离散型随机变量{X, xk, qk, k=1~K}和{Y, yj, wj, j=1~J}）。X与Y的平均互信息量定义为如下的I(X; Y)： 平均互信息量 注意：事件对(xk, yj)的互信息量值为I(xk; yj)。此外，可以定义半平均互信息量I(xk; Y)和I(X; yj)。 平均互信息量的性质 非负性 I(X;Y) ≥0 对称性 I(X;Y)=I(Y;X) 平均互信息用熵与条件熵表示 平均互信息与熵的关系: I(X;Y) ≤H(X) or H(Y) 若X是Y的确定的函数X=g(Y)，则I(X;Y)=H(X)≤H(Y); 若Y是X的确定的函数Y=g(X)，则I(X; Y)=H(Y)≤H(X)。 平均互信息量 一般印象 （平均互信息量I(X; Y)的各种性质与我们对“互信息量”这个名词的直观理解非常吻合）。 一般情形：总有0≤I(X; Y)≤min{H(X), H(Y)}。 一种极端情形：若X与Y相互独立，则I(X; Y)=0。 另一种极端情形：若X、Y中有一个完全是另一个的确定的函数，则I(X; Y)=min{H(X), H(Y)}。 平均互信息量 H(X) H(Y) I(X;Y) H(Y|X) H(X|Y) 平均条件互信息与联合互信息 信息处理定理 Z出现情况下，X和Y独立 系统1 系统2 X Z Y 信息处理定理 2.4 连续随机变量的互信息和相对熵 连续随机变量的互信息 定义2.5.1 给定二维连续型随机变量{(X, Y), f(X,Y)(x, y)}（因此就给定了两个连续型随机变量{X, fX(x)}和{Y, fY(y)}）。事件x∈X与事件y∈Y的互信息量定义为 连续随机变量的平均互信息 I(X; Y | Z) I(XY; Z) 定义2.5.2 给定二维连续型随机变量{(X, Y), f(X,Y)(x, y)}（因此就给定了两个连续型随机变量{X, fX(x)}和{Y, fY(y)}）。 X与Y的平均互信息量定义为 性质 非负性 对称性 数据处理定理 关系 连续随机变量的相对熵 （连续型随机变量为什么不能类似地定义平均自信息量——熵？这是因为，连续型随机变量的事件有无穷多个，每个事件发生的概率无穷小。如果类似地定义熵，则熵是无穷大。因此只能定义所谓“相对熵”，而“相对熵”的直观合理性大打折扣） 相对熵的定义 给定连续型随机变量{X, fX(x)}。 X的相对熵定义为 连续随机变量的相对熵 HC(XY) HC(Y | X)， HC(Y | X) ≤HC(Y) 互信息与相对熵 I(X ; Y)＝HC(X)－HC(X | Y)＝HC(Y)－HC(Y | X) ＝HC(X)+HC(Y)－HC(X, Y) HC(X, Y)＝HC(X)+HC(Y)－I(X ; Y) 第二章 信息量和熵 / 海淘 信息量和熵 2.1 离散变量的非平均信息量 2.2 离散集的平均自信息量－熵 2.3 离散集的平均互信息量 2.4 连续随机变量的互信息和熵 2.5 凸函数和互信息的凸性 2.1 离散变量的非平均信息量 输入，输出空间定义 输入空间X={xk,k=1,2,…,K},概率记为q(xk) 输出空间Y={yj,j=1,2,…,J},概率记为ω(yj) 联合空间XY={xkyj ;k=1,2,…,K;j=1,2,…,J}, 概率为p(xkyj) p(xkyj)= p(xk|yj)ω(yj)= p(yj|xk)q(xk) 非平均互信息量 例2.1.1 输入消息 码字 p(xk) 收到0 收到01 收到011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/4 1/4 1/4 1/4 0 0 0 0 0 0 1/2 1/2 0 0 0 0 0 0 0 1 0 0 0 0 非平均互信息量 输入消息 码字 p(xk) 收到0 收到01 收到011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/4 1/8 1/4 1/16 1/16 1/16 1/16 1/6 1/3 1/6 1/3