第二章离散信源与信息熵下.ppt

§2. 4 熵函数的数学性质与其物理意义 §2.4.2 各种熵函数的互换关系 一、联合熵与信息熵、条件熵的关系 §2.4.2 各种熵函数的互换关系 三、联合熵与分部信息熵的关系 §2.4.2 各种熵函数的互换关系 第二章. 信息的度量与信息熵 §2. 5 离散信源的互信息、条件互信息 ( Mutual Information and Conditional Mutual Information for Discrete Source) 有的书把互信息亦称为平均互信息(average mutual information) 我们将类似于自信息引出信息熵的方法导出互信息： 先比较自信息与信息熵的关系，再讨论互信息与自互 信息的关系。 §2. 5 离散信源的互信息、条件互信息 通过上述比较，可知互信息象熵一样应是整个集合 间的总体特征，即它是描述了两个分属于不同集合的随 机变量间的平均相关程度。 一、互信息的数学定义: §2. 5 离散信源的互信息、条件互信息 §2. 5 离散信源的互信息、条件互信息 §2. 5 离散信源的互信息、条件互信息 二、互信息的性质 1°. 非负性 (non-negativity) §2. 5 离散信