- 1、本文档共5页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第三章 信源编码——离散信源无失真编码
本章分析问题:在信宿要求无失真接收时,或所有信源信息无损的条件下,离散信源输出的表示——即信源编码问题。
内容:信源分类,信息速率的计算,编码定理,有效编码方法等。
一、信源及其分类
离散信源和连续信源
离散信源表示:…U-2U-1U0U1U2…
其中UL随机变量,取值范围:A={a1,a2,…ak}
2.无记忆源和有记忆源
无记忆源:各UL彼此统计独立
简单信源:各UL彼此统计独立且服从同一概率分布
P(UL=ak)=Pk,k=1,2,…,K
Pk=1
有记忆源:各UL取值相关。
UL=(U1,U2,…,UL)UL,其概率分布由L维随机矢量表示,P(UL=a)=P(U1=ak1,…,UL=akL)
3.平稳信源:概率分布与起始下标无关
P(U1=ak1,…,UL=akL)=P(Ut+1=ak1,…,UL=akL)
4.各态历经源:信源输出的随机序列具有各态历经性。
5.有限记忆源:用条件概率P(UL,UL-1,UL-2,UL-m)表述。m为记忆阶数。
6.马尔可夫源:有限记忆源可用有限状态马尔可夫链描述,当m=1时为简单马尔可夫链。
7.时间离散的连续源:各随机变量UL取值连续。
8.随机波形源:时间和取值上均连续的信源;由随机过程u(t)描述,时间或频率上有限的随机过程可展开成分量取值连续的随机矢量表示,即时间上离散,取值连续的信源。
9.混合信源
二、离散无记忆源的等长编码
离散无记忆源:DMS
L长信源输出序列:UL=(U1,U2,…,UL),Ul取值{a1,a2,…ak},共KL种不同序列。
对每个输出序列用D元码进行等长编码,码长为N,则可选码共有DN个。
单义可译码或唯一可译码:
条件:DN≥KL=M,即N≥LlogK/logD
N/L:每个信源符号所需的平均码元数;N/L3.322;
信息无损编码要求:
设每个信源符号的信息量为H(U),则L长信源序列的最大熵值为LH(U),编码时由于D个码元独立等概时携带信息量最大,使码长最短。则信息无损编码的最小码长为:
NlogD≥LH(U)
注:计算H(U)时,需要考虑L,L为有限值时,平均每符号的信息量将在H(U)附近摆动。
则:选L足够长,使NlogD≥L[H(U)+εL]
εL:与L有关的正数,当L时,εL。
注:这种编码不一定保证单义可译,但非单义可译所引起的误差可渐进为任意小。
序列划分
L长无记忆信源DMS的信息量:
概率:P(UL)=P(U1, U2, … ,UL)=P(Ul)
消息序列UL的自信息量:
I(UL)=-logP(UL)=-logP(Ul)=[-logP(Ul)]=I(Ul).
I(Ul)含义:信源从取值集A中独立选出某个字母所获得的信息量;
消息符号的平均信息量:IL=I(UL)/L;
信源中每符号的熵:H(U)=-p(ak)logp(ak);
信源中各符号信息量I(ak)的方差:
σI2=p(ak)[ I(ak)- H(U)] 2=p(ak)[log p(ak)] 2- H 2 (U)
g.根据弱大数定理:对任意的ε0有
Pr[I(UL)/L- H(U)ε] σI2/(1-ε2)=δ
Pr[I(UL)/L- H(U) ≤ε] ≥1-δ
选δ=ε,得:Pr[I(UL)/L- H(U) ≤ε] ≥1-ε
即:当L足够大时,IL=I(UL)/L以概率1取值H(U)。
典型序列集:
TU(L,ε)={UL: H(U)-ε≤IL≤ H(U)+ε}是长为L的弱ε-典型序列集。
TU(L,ε)={UL: L(p(ak)-ε)≤IL≤L(p(ak)+ε);akU}为给定信源输出的长为L的强ε-典型序列集。
例子:扔硬币事件中,正反面出现概率当试验次数足够大时各为一半。
C.上述的补集为非典型序列。
d. 信源划分定理:
给定信源{U,p(ak)}和ε0,当L时,Pr {TU(L,ε)}1,或对所有的ε0,存在正整数L0,当L L0时,有Pr {ULTU(L,ε)}≥1-ε.
e. 典型序列出现的概率(渐进等概序列):
≤P[TU(L,ε)]≤
即:P[TU(L,ε)]≈
证明:略。
典型序列的数目:
(1-ε)≤TU(L,ε)数目≤
即:TU(L,ε)数目≈
证明:略。
个别非典型序列的概率不一定比个别典型序列的概率低,甚至高得多。
非典型序列的数目不一定少。当L很长时,典型序列的数目往往远少于非典型序列数目。
离散无记忆源的编码定理:
编码速率:R=logM=logD,M=DN
可达速率:对给定信源和编码速率R和任意ε0,若存在L0、编码和译码变换,使当码长L L0时,译码错误概率位Peε
您可能关注的文档
最近下载
- 医院实验室生物安全管理手册.pdf
- 中国古代史历史选择题精选100题(附答案).doc VIP
- 2024年辽宁省交通高等专科学校单招语文考试试题及答案解析.docx
- 海南博鳌千舟湾项目可行性研究报告.pdf VIP
- (2025春新版)部编版一年级下册道德与法治《错了就要改 》PPT课件.pptx VIP
- 基于plc交流变频调速系统设计毕业论文.doc VIP
- 中国古代史历史选择题精选100题(附答案).pdf VIP
- 房山石经第28册No.1072一切佛菩萨名集.pdf
- 2021-2022学年山东省济南市高三(上)期末数学试卷(一模)(含解析).pdf
- 叉车证考试题库单选题100道及答案解析.docx VIP
文档评论(0)