第二章 离散信源和信息熵(上).pptVIP

§2. 4 熵函数的数学性质与其物理意义 证明： §2. 4 熵函数的数学性质与其物理意义 §2. 4 熵函数的数学性质与其物理意义 The entropy function is a strictly convex function. 因此，只有当函数具有上凸性时，在其值域中一 定存在有绝对极大值，故熵函数必然有最大值问题 —— Maximum entropy theorem 最简单的熵函数——二元信息熵（The binary entropy function） §2. 4 熵函数的数学性质与其物理意义 二维熵函数——三元信息熵 (The triple entropy function) §2. 4 熵函数的数学性质与其物理意义 §2. 4 熵函数的数学性质与其物理意义 §2. 4 熵函数的数学性质与其物理意义 §2. 4 熵函数的数学性质与其物理意义 §2.4.2 各种熵函数的互换关系 一、联合熵与信息熵、条件熵的关系 ？ 二、由熵函数可加性的推广可得： §2.4.2 各种熵函数的互换关系 三、联合熵与分部信息熵的关系 其中证明的难点一： 1 1 其中证明的难点二： §2.4.2 各种熵函数的互换关系 同理可推出： 等号成立的充分必要条件是： * 第二讲 §2. 2 . 自互信息与条件自互信息 一个等概率信源有八种消息符号，