[工学]2-1 第2章 信源的数学模型和分类.ppt

第2章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理 信源的数学模型及其分类 通信的根本问题是将信源的输出在接收端尽可能精确地复现出来，所以需要讨论如何描述信源的输出，即如何计算信源产生的信息量。 信源的数学模型 信源概念、数学模型 离散信源和连续信源 信源的分类 记忆性：有记忆和无记忆信源 有记忆信源：马尔可夫信源 信源的概念 信源－信息的发源地，如人、生物、机器等等。 由于信息是十分抽象的东西，所以要通过信息载荷者，即消息来研究信源，这样信源的具体输出称作消息。 消息的形式可以是离散消息（如汉字、符号、字母）或连续消息（如图像、语音） 信源消息中的信息是一个时变的不可预知的函数，因此，描述信源消息或对信源建模，随机过程是一个有效的工具，随机过程的特性依赖于信源的特性。 信源输出的描述 信源发出消息，消息载荷信息，具有不确定性，所以可用随机变量或随机序列（矢量）来描述信源输出的消息，或者说用概率空间来描述信源。 离散信源：信源输出的消息常常是以一个个符号的形式出现，例如文字、字母等，这些符号的取值是有限的或可数的。 离散信源只涉及一个随机事件，称为单符号离散信源，可用离散随机变量来描述； 若离散信源涉及多个随机事件，称为多符号离散信源，可用离散随机矢量来描述。 连续信源：输出连续消息的信源。 离散信源和连续信源 信源的输出被抽象为一个随机变量序列（随机过程）。 连续信源：如果信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。 比如人发出的语音信号X(t)、模拟的电信号等等 离散信源：如果信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。 比如平面图像 X(x，y)和电报、书信、文稿等等 单/多符号信源 单符号信源：信源输出的是单个消息符号，用一维离散或连续随机变量X及其概率分布P来描述。 多符号信源：信源输出的是多个消息符号，用N维随机矢量，N重离散概率空间的数学模型来描述。 如自然语言信源就是把人类的语言作为信源，以汉字为例，就是随机地发出一串汉字序列。 我们可以把这样信源输出的消息视为时间上或空间上离散的随机变量序列，即随机矢量。 于是，信源的输出可用N维随机矢量(Xk,k=1,2,...,N)来描述，N一般为有限正整数。 第2章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理 第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 2.1.6 各种熵之间的关系 2.1.1 单符号离散信源的数学模型 定义：单符号离散信源的数学模型 第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 一、信息量 1、自信息量；2、联合自信息量；3、条件自信息量 二、互信息量和条件互信息量 1、互信息量；2、互信息的性质；3、条件互信息量 三、信源熵 1、信源熵；2、条件熵；3、联合熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 2.1.6 各种熵之间的关系 不确定性、惊讶度与信息量 在事件发生前有不确定性 在事件发生时有惊讶度 在事件发生后有信息量 当一个概率很低的随机事件发生，我们就会感到非常惊讶，并得到很大的信息量。 自信息量 从信息源获取信息的过程就是其不确定性缩减的过程 随机事件包含的信息与其不确定性紧密相关 在统计分析中，使用概率作为衡量不确定性的一种指标。 可以推论出：随机事件包含信息的度量应是其概率的函数。 自信息量定义 定义 2.1.1 任意随机事件的自信息量定义为该事件发生概率的对数的负值。 自信息量的单位取决于对数选取的底。 单位：比特bit、奈特nat、哈特Hart。 当对数的底取2时，单位为比特bit 当以自然数e为底时，单位为奈特nat 当以10为底时，单位为哈特hart 自信息量的单位 在现代数字通信系统中，一般采用二进制的记数方式。在信息量的计算中也多采用以2为底的方式，一般默认以2为底 三个信息单位比特bit、奈特nat、哈特Hart之间的转换关系如下： 对数及常用公式 自信息量的性质 自信息量的性质 值得注意的是： 例2.1.1：自信息量 某地二月份天气的概率分布统计如下： 这四种气候的自信息量分别为： 可见不同天气情况具有不同的自信息量，