信息论与编码理论基础(第二章)材料.ppt

第二章：信息量和熵 §2.1 离散型随机变量的非平均信息量（事件的信息量） §2.2 离散型随机变量的平均自信息量（熵） §2.4 离散型随机变量的平均互信息量 §2.5 连续型随机变量的平均互信息量和相对熵 §2.6 凸函数与(离散型随机变量的)平均互信息量的凸性 §2.1 离散型随机变量的非平均信息量（事件的信息量） （本章将给出各种信息量的定义和它们的性质。） 定义2.1.1(非平均互信息量) 给定一个二维离散型随机变量 {(X, Y), (xk, yj), rkj, k=1~K; j=1~J} （因此就给定了两个离散型随机变量 {X, xk, qk, k=1~K}和{Y, yj, wj, j=1~J}）。 事件xk∈X与事件yj∈Y的互信息量定义为 §2.1 离散型随机变量的非平均信息量（事件的信息量） 其中底数a是大于1的常数。常用a=2或a=e，当a=2时互信息量的单位为“比特”。 互信息量的性质： （1）I(xk; yj)=loga(rkj/(qkwj))。因此有对称性： I(xk; yj)=I(yj; xk)。 （2）当rkj=qkwj时I(xk; yj)=0。 （即当(rkj/qk)=wj时，I(xk; yj)=0。 又即当(rkj/wj)=qk时，I(xk; yj)=0。 换句话说，当“X=xk”与“Y= yj”这两个事件相互独立时，互信息量为0）。 §2.1 离散型随机变量的非平均信息量（事件的信息量） （3）当rkjqkwj时I(xk; yj)0，当rkjqkwj时I(xk; yj)0。 （ 当(rkj/qk) wj时，I(xk; yj)0； 当(rkj/qk) wj时，I(xk; yj)0。 换句话说， 当“X=xk”与“Y= yj”这两个事件正相关时，互信息量为正值； 当“X=xk”与“Y= yj”这两个事件负相关时，互信息量为负值。 ） §2.1 离散型随机变量的非平均信息量（事件的信息量） 定义2.1.3(非平均自信息量) 给定一个离散型随机变量{X, xk, qk, k=1~K}。事件xk∈X的自信息量定义为 h(xk)=loga(1/qk)， 其中底数a是大于1的常数。 自信息量的性质： （1）h(xk)≥0。 （2）qk越小，h(xk)越大。 （3）I(xk; yj)≤min{h(xk)，h(yj)}，即互信息量不超过各自的自信息量。 证明 注意到总有rkj≤min{qk, ωj}。（为什么？什么情况下相等？）。因此根据定义， I(xk; yj)≤h(xk)，I(xk; yj)≤h(yj)。得证。 §2.1 离散型随机变量的非平均信息量（事件的信息量） 定义2.1.4(条件的非平均自信息量) 给定一个二维离散型随机变量{(X, Y), (xk, yj), rkj, k=1~K; j=1~J}。在事件yj发生的条件下事件xk的条件自信息量定义为 h(xk|yj)=loga(1/P(X=xk|Y=yj))=loga(wj/rkj)。 （条件的非平均自信息量实际上是非平均自信息量的简单推广，只不过将概率换成了条件概率）。 条件的非平均自信息量的特殊性质： h(xk|yj)=h(xk)-I(xk; yj) 。 §2.1 离散型随机变量的非平均信息量（事件的信息量） 定义2.1.5(联合的非平均自信息量) 给定一个二维离散型随机变量{(X, Y), (xk, yj), rkj, k=1~K; j=1~J}。事件(xk, yj)∈(X, Y)的自信息量定义为 h(xk, yj)=loga(1/rkj)。 （联合的非平均自信息量实际上是非平均自信息量的简单推广。即可以将(X, Y)直接看成是一维的随机变量）。 联合的非平均自信息量的特殊性质： h(xk, yj)=h(yj)+h(xk|yj)=h(xk)+h(yj|xk)。 h(xk, yj)=h(xk)+h(yj)-I(xk; yj)。 §2.1 离散型随机变量的非平均信息量（事件的信息量） 小结 非平均互信息量I(xk; yj)。 非平均自信息量h(xk)，h(yj)。 条件的非平均自信息量h(xk|yj)， h(yj|xk)。 联合的非平均自信息量h(xk, yj)。 相互关系： I(xk; yj)≤min{h(xk)，h(yj)}。 h(xk|yj)=h(xk)-I(xk; yj) 。 h(xk, yj)=h(yj)+h(xk|yj)=h(xk)+h(yj|xk)。 h(xk, yj)=h(xk)+h(yj)-I(xk; yj)。 §2.2 离散型随机变量的平均自信息量（熵） 定义2.2.1(平均自信息量——熵) 离散型随机变量{X, xk, qk, k=1~K}的平均自信息量（又称为熵）