信息论与编码理论第二章.pptVIP

第二章 信息量和熵Information and Entropy 信息量和熵 2.1 离散变量的非平均信息量 2.2 离散集的平均自信息量－熵 2.3 离散集的平均互信息量(mutual information) 2.4 连续随机变量的互信息和熵 2.5 凸函数和互信息的凸性(convex) 输入，输出空间定义 输入空间X={xk,k=1,2,…,K},概率记为Q(xk) 输出空间Y={yj,j=1,2,…,J},概率记为ω(yj) 联合空间XY={xkyj ;k=1,2,…,K;j=1,2,…,J}, 概率为p(xkyj) P(xkyj)= P(xk|yj)ω(yj)= P(yj|xk)Q(xk) 非平均互信息量 例2.1.1 非平均互信息量 非平均互信息量 信息量与后验概率有关，与先验概率有关 先验概率越大，得到的信息量越小，反之信息量越大 非平均互信息量 例2.1.2 非平均互信息量 条件互信息和联合事件互信息 三个事件集的条件互信息定义为 可以推广到任意有限多个空间情况 互信息的可加性 离散变量的非平均自信息量 非平均自信息的性质 非负 体现先验不确定性大小 条件自信息和联合自信息 自信息、条件自信息和互信息 参考习题 2.1，2.3，2.4，2.5，2.11 2.2 离散集的平均自信息量－熵 熵-Entropy 条件熵和联合熵 熵的性质 对称性 非负性 确