联合熵与条件熵.pdfVIP

第 6 讲 联合熵与条件熵 信息熵 H(X) 反映了随机变量 X 的取值不确定性。当 X 是常量时，其信息 熵最小，等于 0；当 X 有 n 个取值时，当且仅当这些取值的机会均等时，信息 熵 H(X) 最大，等于 log n 比特。我们拓展信息熵 H(X) 的概念，考虑两个随机 变量 X 和 Y 的联合熵 H(XY)和条件熵 H(Y|X) 。 1. 联合熵 设 X，Y 是两个随机变量， 则(X,Y) 是二维随机变量，简写为 XY。 二维随机变量 XY 的联合概率分布记为 p( xy) ，即 根据信息熵的定义可知， XY 的信息熵为 定义 二维随机变量 XY 的信息熵 H(XY)称为 X 与 Y 的联合熵 （joint entropy ）。 它反映了二维随机变量 XY 的取值不确定性。我们把它理解为 X 和 Y 取值的总 的不确定性。 练习：