分析化学1.2课件.pptVIP

§1.2 熵　联合熵　条件熵 　　自信息是单个信号的信息度量，对于整个信源而言，每个符号的自信息可能不同，那么，从平均意义上来说，信源每发出一个符号所含的信息量有多大？ 这个平均信息量称为信源的熵，也称为随机变 量 的熵，记为 再看例子: 设一袋中有100个球,其中80个红球,20个白球,现任取一球,猜测其颜色. 这个信源可发出两个消息: 从平均意义上来说，信源每发出一个符号所含的信息量 有多大？ 定义１.2.１　离散随机变量 的熵定义为 ? 我们也用 表示这个熵，有时也称它为概率分布 的熵 信源 的信息熵就是随机变量 的数学期望 以２为底 熵的单位为比特（bit） e 奈特（nat） 10 哈特（hat） N N进制信息单位 熵的单位与对数底的关系： 熵的简单性质： 引理 1.2.1　 且等号成立的充要条件是 有退化分布． 例1.2.1　设 的分布为 1 0 概率 ? p 0.5 1.0 1.0 的图形如下，以后将经常用到这个函数，称为二进熵函数． 则 例1.2.2　设 服从有限集 上的均匀分布，即 ? ? ? ? ? 或写成数学期望形式 定义1.2.2 设一对随机变量 的联合分布为 则定义 的联合熵 为 ? ? ? ? 则定义联合熵为 联合熵可推广到n维随机变量的情形 定义1.2.3 设n维随机向量 的联合分 布为: