[信息与通信]陈伟建-信息论基础-第2章 熵与互信息.pptVIP

* 熵与互信息 * 第2章 熵与互信息 信息如何度量？ 2.1 熵 信源发出的消息为单一符号，而这些符号随机地取值于一个有限集合 1、单符号离散信源 定义 表示 离散型随机变量X 随机变量X的取值xi为信源发出的消息 i=1,2,…,N 例1 例2 2、自信息量 消息xi的概率P(xi)对数的负值，也叫无条件自信息量，用I(xi)表示 定义 表示 单位由对数的底a决定——当a=2时为bit(binary unit)，a=e时为nat(nature unit)，a=10时为Hart(Hartley) 以bit为单位的自信息量 I(xi)与xi的概率P(xi)相关 I(xi)是P(xi)的减函数，且当P(xi) =0时I(xi) →∞，P(xi) =1时I(xi) =0 I(xi)是P(xi)的连续函数 例3 信源发出各消息的自信息量 3、熵 信源各消息自信息量的数学期望，也叫无条件熵，用H(X)表示 定义 表示 单位一般为bit或bit/symbol H(X)反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量 一般情况下，H(X)不等于每接受一条消息所获得的平均信息量 4、熵的主要性质和最大熵定理 ①非负性 ②严格上凸性 严格上凸性的描述——设函数f(x)对任一小于1的正数α及定义域中任意两个值x1、x2，如果 称函数f(x)为严格上凸函数 ③最大熵定理