第三章离散信源及离散熵.pptVIP

电子科技大学 * 信源消息是多种多样的：如计算机网络节点输出的是二进制数据，模拟电视输出的是连续视频图像和伴音；又如抽牌，可以抽出后放回去再抽，也可以抽出后不放回去再抽。 信源的分类方法可以很多，但从本质上考虑，一方面将信源分为离散信源和连续信源(continuous source)，另一方面 第3章 离散信源及离散熵 将信源分为无记忆信源(memoryless source)和有记忆信源(memory source)。 从一个离散信源的整体出发，它的信息量应该如何度量？ 本章主要讨论离散无记忆信源。 从最简单的单符号离散信源开始讨论： 1、单符号离散信源的数学模型 一、单符号离散信源的离散熵 如果说自信息量反映的是一个随机事件出现各种结果所包含着的信息量，那么 自信息量的数学期望(概率加权的统计平均值)所反映的是该随机事件出现所包含的平均自信息量。 如果将离散信源所有自信息量的数学期望用H(X)来表示并称其为信源的离散熵，也叫香农熵，离散熵的定义为： 离散熵的单位是比特/符号(bit/symbol)。 2、单符号离散信源的离散熵 离散熵是从整体出发对一个离散信源信息量的度量。 需要注意，平均自信息量和离散熵虽然在数值上相同，但在含义上却有区别： 平均自信息量所反映的仅仅是信源输出X所包含的平均自信息量，是消除信源不确定度所需要的信息的度量； 换句话说，平均自信息量只有在信源输出