信息论第二章.pptVIP

* * 2.2.3 信息熵(Entropy) 定义自信息的数学期望为信源客观上的平均信息量，称为信源的信息熵(Entropy)。 2. 2 离散信源的信息熵 H(X)表示信源发出任何一个消息状态所携带的平均信息量，也等于在无噪声条件下，接收者收到一个消息状态所获得的平均信息量。 * * 2. 2 离散信源的信息熵 熵的物理意义： △熵的本意为热力学中表示分子状态的紊乱程度； △信息论中熵表示信源中消息状态的不确定度； △信源熵与信息量有不同的意义； (1)?H(X)表示信源X输出以后，每个消息(或符号)所能提供的平均信息量； (2) H(X)表示信源X在输出以前，信源的平均不确定度； (3) H(X)表示随机变量X的随机性； 我们借用熵的含义反映信源这个消息集合中的总体特征——平均不确定度。 * * 从数学来看，信息熵的引出仅仅由一个随机变量 的统计平均处理 所得到集合的统计平均值而已。但从物理意义上看，两者产生了性质的突变， 仍是一个随机变量 (variable); 而 已变成了常量(constant) ，它是代表集合的总体特征。 2. 2 离散信源的信息