信息与编码chap.pptVIP

第二章 信息量和熵 信息量和熵 2.1 离散变量的非平均信息量 2.2 离散集的平均自信息量－熵 2.3 离散集的平均互信息量 2.4 连续随机变量的互信息和熵 2.5 凸函数和互信息的凸性 2.1 离散变量的非平均信息量 输入，输出空间定义 输入空间X={xk,k=1,2,…,K},概率记为q(xk) 输出空间Y={yj,j=1,2,…,J},概率记为ω(yj) 联合空间XY={xkyj ;k=1,2,…,K;j=1,2,…,J}, 概率为p(xkyj) p(xkyj)= p(xk|yj)ω(yj)= p(yj|xk)q(xk) 非平均互信息量 例2.1.1 非平均互信息量 非平均互信息量 例2.1.2 非平均互信息量 条件互信息和联合事件互信息 三个事件集的条件互信息定义为 可以推广到任意有限多个空间情况 互信息的可加性 离散变量的非平均自信息量 非平均自信息的性质 非负 体现先验不确定性大小 条件自信息和联合自信息 自信息、条件自信息和互信息 2.2 离散集的平均自信息量－熵 熵 条件熵和联合熵 熵的性质 对称性 非负性 确定性 扩展性 可加性 极值性 是H(P)上凸函数 熵的性质－可加性 H(p1q11,p1q12,…,p4q44)=H(p1…,p4)+p1H(q11,…,q14)+…+p4H(q41,…,q44) 熵的极值性 引理1: lnx≤x-1 引理2： H(X|Y) ≤H(X) H(U1…UN) ≤H(U1)+…+H(UN) 熵的凸性 H(P)是P的上凸函数 2.3 离散集的平均互信息量 平均互信息量 平均互信息量 4. I(X;Y)≤H(X) ,I(X;Y)≤H(Y) 条件互信息 信息处理定理 Z出现情况下，X和Y独立 信息处理定理 2.4 连续随机变量的互信息和相对熵 连续随机变量的互信息 随机变量的相对熵 相对熵的极大化 1.峰值功率受限 均匀分布相对熵最大 2.平均功率受限 高斯分布相对熵最大 3.平均功率大于等于熵功率 2.5 凸函数与互信息的凸性 凸函数 凸集R：a，b属于R，qa+(1-q)b也属于R，其中0≤q≤1 概率矢量 矢量a的所有分量和为1 上凸函数 凸函数的性质 f(a)是上凸的，－f(a)是下凸的 f1(a),…,fL(a)是R上的上凸函数，c1,…,cL是正数，c1f1(a)+…+cLfL(a)也是上凸函数 f(a)是上凸函数，E[f(a)]≤f[E(a)],E为求数学期望 K-T条件 f(a)是定义域R上的上凸函数，a是概率矢量。偏导数 存在且连续， f(a)在R上为极大的 充分必要条件 互信息的凸性 * * 0 0 0 1 0 0 0 0 0 0 1/2 1/2 0 0 0 0 1/4 1/4 1/4 1/4 0 0 0 0 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 000 001 010 011 100 101 110 111 X1 X2 X3 X4 X5 X6 X7 x8 收到011 收到01 收到0 p(xk) 码字 输入消息 0 0 0 1 0 0 0 0 0 0 1/3 2/3 0 0 0 0 1/6 1/3 1/6 1/3 0 0 0 0 1/8 1/4 1/8 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 110 111 X1 X2 X3 X4 X5 X6 X7 x8 收到011 收到01 收到0 p(xk) 码字 输入消息 1-p p 1/2 1/2 1-p p 1/2 1/2 000 111 X1 X2 收到011 收到01 收到0 p(xk) 码字 输入消息 1-p 1-p 0 0 1 1 p p 系统 u1 u2 u3 系统 u1 u2 u3 I(xk) I(yj) I(xk ;yj) 集X中事件出现的平均不确定性 例2.2.1 H(p) 例2.2.2 XY独立时有H(X|Y)=H(X) p1 p2 p3 p4 q11 q12 q13 q14 非负性 对称性 H(X) H(Y) I(X;Y) H(Y|X) H(X|Y) 系统1 系统2 X Y Z 熵功率 *