- 1、本文档共40页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
第五章:无失真信源编码
信源
信息论对信源研究的内容:
信源的建模:用恰当的随机过程来描述信号
关心角度:信号中携带的信息
信源输出信号中携带信息的效率的计算
熵率、冗余度
信源输出信息的有效表示
信源编码
信源
信源的特性与分类
实际信源举例
信源特性与分类
信源的统计特性
1)什么是信源?
信源是信息的来源,实际通信中常见的信源有:语音、文字、图像、数据…。在信息论中,信源是产生消息(符号)、消息(符号)序列以及连续消息的来源,数学上,信源是产生随机变量U,随机序列U和随机过程U(t,ω)的源。
2)信源的主要特性
信源的最基本的特性是具有统计不确定性,它可用概率统计特性来描述。
信源特性与分类
信源的描述与分类
单消息(符号)信源:
离散信源
连续变量信源
平稳信源
无/有记忆信源
马尔可夫信源
随机波形信源
实际信源
信源特性与分类
单消息(符号)信源
它是最简单也是最基本的信源,是组成实际信源的基本单元。它可以用信源取值随机变量的范围U和对应概率分布P(u)共同组成的二元序对[U,P(u)]来表示。
当信源给定,其相应的概率空间就已给定;反之,如果概率空间给定,这就表示相应的信源已给定。所以,概率空间能表征这离散信源的统计特性,因此有时也把这个概率空间称为信源空间。
单消息(符号)信源--离散信源
这些信源可能输出的消息数是有限的或可数的,而且每次只输出其中一个消息。因此,可以用一个离散型随机变量X来描述这个信源输出的消息。这个随机变量X的样本空间就是符号集A;而X的概率分布就是各消息出现的先验概率,信源的概率空间必定是一个完备集。
在实际情况中,存在着很多这样的信源。例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。这些信源输出的都是单个符号(或代码)的消息,它们符号集的取值是有限的或可数的。我们可用一维离散型随机变量X来描述这些信源的输出。它的数学模型就是离散型的概率空间:
单消息(符号)信源--离散信源
对离散信源
例:对于二进制数据、数字信源:U={0,1},则有
单消息(符号)信源--连续变量信源
有的信源虽输出是单个符号(代码)的消息,但其可能出现的消息数是不可数的无限值,即输出消息的符号集A的取值是连续的,或取值是实数集(-∞,∞)。例如,语音信号、热噪声信号某时间的连续取值数据,遥控系统中有关电压、温度、压力等测得的连续数据。这些数据取值是连续的,但又是随机的。我们可用一维的连续型随机变量X来描述这些消息。这种信源称为连续信源,其数学模型是连续型的概率空间:
单消息(符号)信源--连续变量信源
其中:
对于连续变量信源
平稳信源
很多实际信源输出的消息往往是由一系列符号序列所组成的。可以把这种信源输出的消息看做时间上或空间上离散的一系列随机变量,即为随机矢量。这时,信源的输出可用N维随机矢量X=(X1,X2…XN)来描述,其中N可为有限正整数或可数的无限值。这N维随机矢量X有时也称为随机序列。
一般来说,信源输出的随机序列的统计特性比较复杂,分析起来也比较困难。为了便于分析,我们假设信源输出的是平稳的随机序列,也就是序列的统计性质与时间的推移无关。很多实际信源也满足这个假设。
若信源输出的随机序列X=(X1,X2,…,XN)中,每个随机变量
Xi (i=1,2,…,N)都是取值离散的离散型随机变量,即每个随机变量Xi的可能取值是有限的或可数的。而且随机矢量X的各维概率分布都与时间起点无关,也就是在任意两个不同时刻随机矢量X的各维概率分布都相同。这样的信源称为离散平稳信源。如中文自然语言文字,离散化平面灰度图像都是这种离散型平稳信源。
无记忆信源
在某些简单的离散平稳信源情况下,信源先后发出的一个个符号彼此是统计独立的。也就是说信源输出的随机矢量X=(X1X2…XN)中,各随机变量Xi (i=1,2,…N)之间是无依赖的、统计独立的,则N维随机矢量的联合概率分布满足P(X)=P1(X1)P2(X2)…PN(XN)
我们称由信源空间[X,P(x)]描述的信源X为离散无记忆信源。这信源在不同时刻发出的符号之间是无依赖的,彼此统计独立的。
离散无记忆信源X的N次扩展信源
我们把这信源X所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。可见,N次扩展信源是由离散无记忆信源输出N长的随机序列构成的信源。
离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重空间。
有记忆信源
一般情况下,信源在不同时刻发出的符号之间是相互依赖的。也就是信源输出的平稳随机序列X中,各随机变量Xi之间是有依赖的。例如,在汉字组成的中文序列中,只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以,在汉字序列中前后
您可能关注的文档
- 第五单元 生物圈中的其他生物要点.doc
- 第五单元.繁荣与开放的社会9要点.ppt
- 第五单元:第一章、动物的主要类群(共20张)要点.ppt
- 第五单元《青春的脚步青春的气息》复习要点.ppt
- 第五单元5.1生命宝贵第二课时《珍爱生命,善待生命》要点.ppt
- 第五单元测试密卷2要点.doc
- 第五单元导学案要点.doc
- 第五单元第1讲孟德尔的豌豆杂交试验(一)要点.ppt
- 第五单元第23课密切联系的生物界要点.ppt
- 第五单元第二章第二节先天性行为和学习行为要点.ppt
- 2023学年诸暨中学高三年级第二学期3月第二次模拟考试(政治)公开课教案教学设计课件资料.docx
- 运动的合成与分解(二)公开课教案教学设计课件资料.pptx
- 近五年浙江省各地图形的翻折(轴对称)原题公开课教案教学设计课件资料.doc
- 如何做教师-2019-11-13-中关村一小相关公开课教案教学设计课件资料.pptx
- 生活中的圆周运动 (水平面)正式版公开课教案教学设计课件资料.pptx
- 专题10 条件概率与全概率公式公开课教案教学设计课件资料.docx
- 金华市东阳市2019学年第二学期期末测试卷公开课教案教学设计课件资料.doc
- 5 琥珀(第二课时)【慕课堂版】公开课教案教学设计课件资料.pptx
- 项目五 打印米老鼠模型公开课教案教学设计课件资料.ppt
- (打印版)9月25日地理周练公开课教案教学设计课件资料.docx
文档评论(0)