第2章_离散信源及信息测度1.pdfVIP

第二章 离散信源及信息测度 DUT 信息论基础 本章内容提要 本章内容提要 2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信源的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.8 信源剩余度自然语言的熵 DUT 信息论基础 2 2.1 信源的数学模型及分类  从信源发出的消息在时间上的分布 分为离散信源和连续信源；  从信源消息是模拟的还是数字的 分为模拟信源和数字信源； 对数字信源还可分为二进制信源和多进制信源。  对于离散信源，根据符号的特点以及符号间的关联性 可分无记忆离散信源和有记忆离散信源 对于前者，又可分为发出单个符号的无记忆离散信源和发出符号序 列的无记忆离散信源； 对于后者，又可分为发出符号序列的有记忆离散信源和发出符号序 列的马尔可（Markov）信源。 DUT 信息论基础 3 2.1 信源的数学模型及分类  从描述信源消息的随机过程的平稳性角度 分为平稳信源和非平稳信源  按随机过程的类别 分为高斯信源、马尔可夫信源等  根据人们对信源消息的感知 分为数据信源、文本信源、语音信源、图像信源等，其中文本信 源和语音信源都是针对人类语言、文字、声乐等感知的，又通称 为自然语信源。 数学上怎样描述信源? DUT 信息论基础 4 2.2 离散信源的信息熵 单符号离散信源 从讨论信源的特征入手，给出定量度量信息的方法。 以天文学范畴的事件为例。  小行星撞击地球、月食、日食、流星雨、星系的产 生与消亡等等，都是天文学内一个个离散的事件  如果将一个事件用一个符号来表示，则一个符号代 表一个完整的消息  如果把都是天文学内的事件看作是天文学这个“信源” 输出的符号，则这个信源可以看作是单符号离散信 源。 DUT 信息论基础 5 2.2 离散信源的信息熵 单符号离散信源 由此给出如下定义： 定义2.1 如果信源发出的消息是离散的、有限或无限可列的符 号或数字，且一个符号代表一条完整的消息，则称这 种信源为单符号离散信源。 DUT 信息论基础 6 2.2 离散信源的信息熵 单符号离散信源  单符号离散信源的实例 掷骰子每次只能是1,2,3,4,5,6中的某一个； 天气预报可能是晴、阴、雨、雪、风、冰雹… 中的一种或其组 合以及温度、污染等； 二进制通信中传输的只是1、0两个数字；等等。  这种符号或数字都可以看作某一集合中的事件，每个符号或数字 （事件）都是信源中的元素，它们的出现往往具有一定的概率。  因此，信源又可以看作是具有一定概率分布的某一符号集合 DUT 信息论基础