第2章2.1信源模型与信息度量-1yy0906.pptxVIP

基础信息论 电子与信息工程系 王怿 email: ywang@mail.hust.edu.cn 南一楼 东南角5楼 通软中心 第2章 信源熵 信息的度量与信源熵 本章内容 通信的根本问题是将信源的输出在接收端尽可能精确地复现出来，所以需要讨论如何描述信源的输出，即如何计算信源产生的信息量。 即：信息的度量与信源熵 2017-3-29 3 本章内容简介 2 信源熵（13-14个学时） 2.0 信源的数学模型及其分类（1学时） 离散/连续；平稳/非平稳； 2.1 信息的度量与信源熵（5-6学时） 重点：信息量与熵的概念、性质、应用 2.2 多符号离散平稳信源（2-3个学时） 平均符号熵与极限熵的相关知识；马尔可夫信源。 2.3 连续信源（2个学时） 微分熵的定义及性质；最大熵定理；熵功率 2.4 离散无失真信源编码定理（2个学时） 信源编码的基本概念、目的、思路、术语; 定长、变长编码定理 4 第2章 信源熵 2.0 信源的数学模型及其分类 2.1 信息的度量与信源熵 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理 5 信源的概念 信源－信息的发源地，如人、生物、机器等等。 由于信息是十分抽象的东西，所以要通过信息载荷者（即消息）来研究信源，这样信源的具体输出称作消息。 问题转化：研究信源 ? 研究信源的具体输出：消息 消息的形式 2017-3-29 6 如： 汉字 符号 字母 图像 语音 离散消息 连续消息 信源的数学模型 问题转化：研究信源 ? 研究信源的具体输出：消息 信源建模工具： 信源发出消息，消息载荷信息，具有不确定性， 因此，描述信源消息或对信源建模，随机过程是一个有效的工具，随机过程的特性依赖于信源的特性。 方法： 信源输出的消息：如汉字/符号/语音等 随机变量或随机序列（矢量）或概率空间 2017-3-29 7 如何描述？ 信源的分类 对信源分类主要基于两方面的考虑： 1. 信源消息取值的集合以及消息取值时刻的集合 分为离散信源、连续信源 或 数字信源、模拟信源（波形信源） 2. 信源消息的统计特性 可分为无记忆信源、有记忆信源、 平稳信源、非平稳信源、 高斯信源、马尔可夫信源等。 实际中经常是它们的组合 单符号离散信源 离散平稳无记忆信源 连续单符号（变量）信源 连续有记忆信源 连续非平稳信源 2017-3-29 8 离散信源与连续信源 连续信源： 信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。 比如：人发出的语音信号X(t)、模拟的电信号等等 离散信源： 信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。 信源输出的消息常常是以一个个符号的形式出现，例如文字、字母等，这些符号的取值是有限的或可数的。 比如：平面图像 X(x，y)和电报、书信、文稿等等 2017-3-29 9 信源输出被抽象为随机变量序列（随机过程） 单符号信源与多符号信源 单符号信源： 信源输出单个消息符号 例：阿拉伯数字 投硬币 掷骰子 实际通信系统：信源编码后的数据传输 数学模型：用一维离散或连续随机变量X及其概率分布P来描述。 多符号信源： 信源输出多个消息符号 例：书面语言文字：字→句子→段落→文章 例：电话号码 单符号：一维随机变量?多符号：多(N)维随机变量 数学模型：用N维随机矢量，N重离散概率空间的数学模型来描述。 10 离散平稳信源与非平稳信源 离散平稳信源：如果随机序列中各个变量具有相同的概率分布。 例：掷硬币、掷骰子 结果与时间无关 数学模型： 非平稳信源 信源的统计特性随时间变化 无记忆信源与有记忆信源 无记忆信源： 前、后符号间相互独立 例：阿拉伯数字 信源编码后的数据传输 12 离散平稳无记忆信源 平稳 + 无记忆 信源发出的消息符号间彼此是统计独立的，且它们具有相同的概率分布，且N维随机矢量的联合概率分布为： 连续型无记忆信源： 数学模型： 无记忆信源与有记忆信源（续） 有记忆信源： 通常情况下，信源发出的符号间是彼此相互依存和关联的 如：小说、文字、语音等等。 通常用联合概率或条件概率来描述这种关联性。 按记忆长度划分有： 有限记忆信源 如：有限状态马尔可夫链 马尔可夫信源（后续课程2.2中介绍） 无限记忆信源 2017-3-29 13 信源的分类 随机过程{x(t)}：随机波形信源 信源输出的消息是时间（或空间）上 和取值上都是连续的函数 离散无记忆信源的N次扩展信源：输出的平稳随机序列X中各随机变量统计独立。每个随机变量xi取值于同一概率空间。每N个符号构成一组，等效为一个新