联合熵及条件熵.docxVIP

第 6 讲 联 合 熵 与 条 件 熵 信息熵 H(X) 反映了随机变量 X 的取值不确定性。当 X 是常量时，其信息熵最小，等于 0；当 X 有 n 个 取值时，当且仅当这些取值的机会均等时，信息熵 H(X) 最大，等于 logn 比特。我们拓展信息熵 H(X) 的概 念，考虑两个随机变量 X 和 Y 的联合熵 H(XY) 和条件熵 H(Y|X) 。 1. 联合熵 设 X ， Y 是两个随机变量， 则 (X,Y) 是二维随机变量，简写为 XY 。 二维随机变量 XY 的联合概率分布记为 p(xy)，即 根据信息熵的定义可知， XY 的信息熵为 定义 1.1 二维随机变量 XY 的信息熵 H(XY) 称为 X 与 Y 的联合熵 （ joint entropy ）。 它反映了二维随机变量 XY 的取值不确定性。我们把它理解为 X 和 Y 取值的总的不确定性。 练习： 假设有甲乙两只箱子，每个箱子里都存放着 100 个球。甲里面有红蓝色球各 50 个，乙里面红、蓝色的球 分别为 99 个和 1 个。试计算 H(XY) 我们将联合熵概念推广到任意多离散型随机变量上。 定义 1.2 一组随机变量 X1,X2, , X N 的联合熵定义为 注：为了简化记号，我们有时把 X1X2 N ，把 x1x2 N XN记为 X xN 记为 x 。 物理意义 ： （1）