信息论与编码第2章信源与熵.ppt

第2章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理(*) 本节内容 通信的根本问题是将信源的输出信息在接收端尽可能精确地复现出来。 需要讨论：如何描述信源的输出，即如何计算信源输出的信息量。 信源的数学模型 信源的分类 什么是信源？ 信源－信息的发源地，如人、生物、机器等等。 由于信息十分抽象，所以我们通过信息载荷者，即消息来研究信源，并将信源的具体输出称作消息。 消息的形式多样：离散消息（如汉字、符号、字母）；连续消息（如模拟图像、语音）。 信源建模：信源消息中的信息是一个时变的不可预知的函数。 描述信源消息或对信源建模，随机过程是一个有效的工具，通过随机过程的特性来描述信源的特性。 信源输出的描述 信源发出消息，消息载荷信息，而消息又具有不确定性，所以可用随机变量或随机序列（矢量）来描述信源输出的消息，或者说用概率空间来描述信源。信源的输出被抽象为一个随机变量序列（随机过程）。 离散信源和连续信源 用随机变量或随机矢量来描述信源的输出消息，用概率空间来描述信源时，则信源就是一个概率场： 离散信源：信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。 比如平面图像 X(x，y)和电报、书信、文稿等等 离散信源只涉及一个随机事件，称为单符号离散信源，可用离散随机变量来描述； 若离散信源涉及多个随机事件，称为多符号离散信源，可用离散随机矢量来描述。 连续信源：信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。 比如人发出的语音信号X(t)、模拟的电信号等等 离散和连续信源的数学模型 单/多符号信源模型 单符号信源：信源输出的是单个消息符号，用一维离散或连续随机变量X及其概率分布P来描述。 多符号信源：信源输出的是多个消息符号，用N维随机矢量，N重离散概率空间的数学模型来描述。 如自然语言信源就是把人类的语言作为信源，以汉字为例，就是随机地发出一串汉字序列。 我们可以把这样信源输出的消息视为时间上或空间上离散的随机变量序列，即随机矢量。 于是，信源的输出可用N维随机矢量(Xk,k=1,2,...,N)来描述，N一般为有限正整数。 多符号信源的数学模型 —N重离散概率空间 信源的分类 主要基于两方面： 1. 信源消息取值的集合以及消息取值时刻的集合 离散信源、连续信源 或数字信源、模拟信源（波形信源） 2. 信源消息的统计特性 由此可分为无记忆信源、有记忆信源、 平稳信源、非平稳信源、 高斯信源、马尔可夫信源等。 实际使用的是二者的组合 如离散无记忆信源等。 信源的分类—离散平稳信源 如果随机序列中各个变量具有相同的概率分布，则称为离散平稳信源。 如果离散平稳信源的输出序列中各个变量是相互独立的，即前一个符号的出现不影响以后任何一个符号出现的概率，则称为离散无记忆平稳信源，否则称为离散有记忆平稳信源 信源的分类—无记忆信源 如果信源发出的消息符号间彼此是统计独立的，并且它们具有相同的概率分布，且N维随机矢量的联合概率分布为： 我们称之为离散无记忆信源。 同样，若N维随机矢量中X每个变量Xk是连续随机变量，且相互独立，则X的联合概率密度函数 为 ，这种信源叫连续型无记忆信源 信源的分类—有记忆信源 一般情况下，信源发出的符号间是彼此相互依存和关联的（如小说文字），是有记忆信源，通常用联合概率或条件概率来描述这种关联性。 按记忆长度划分有： 有限记忆信源（马尔可夫信源） 有限状态马尔可夫链 无限记忆信源 混合信源 按信源输出时间和取值划分： 时间连续，取值连续或随机的，称之为随机波形信源，表示为X(t)。 输出既有连续分量又有离散分量，称之为混合信源。 ?重点研究离散信源产生消息的不确定性，不研究信源的内部结构和消息的如何产生。 信源的分类 第2章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理 第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 各种熵之间的关系 2.1.1 单符号离散信源的数学模型 定义：单符号离散无记忆信源的数学模型 第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2