原创力文档- 1、本文档共23页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
2014(C) 张芳 同济大学信通系
第4章 无失真信源编码
2
本章学习内容
信源编码原理
定长编码定理
变长编码
码的分类与定义
Kraft 不等式
山农第一定理
3
信源编码算法
费诺编码
哈夫曼码
香农-费诺-埃利阿斯编码
香农编码
其他编码算法
L-D编码
游程编码
LZ编码
算术编码
4
4.1 信源编码原理
5
一、编码器 encoder
等长编码：要求K值小
由L个原始信源符号组成的信源消息序列：
编码器将它编成码序列：
变长编码：要求K的数学期望小
6
编码器模型
编码器的作用：
1）用码元集构成码字集
2）确定W与X的对应关系
7
二、等长编码定理 Fixed length coding theorem
8
9
10
11
三、变长编码 Unfixed length source coding
12
信源符号X
出现概率p(X)
码1
码2
码3
码4
码5
码6
x1
1/2
00
1
1
0
0
0
x2
1/4
01
1
0
01
1110
10
x3
1/6
10
0
11
011
110
110
x4
1/12
11
01
00
0111
10
1110
13
非奇异码 non-singular code （奇异码）：
1、码的分类与定义
二元代码（多元代码）：
同阶代码（非同阶代码）：
等长代码（变长代码）：
每个码元的时间长度相等
每个码字含有的码元数相等
码字集中所有码字各不相同，即不同的消息序列映射到不同的码符号序列
14
单义代码/唯一可译码 Uniquely decodable code
对多个码字（w1,w2,…,wn）任意组合成的序列再进行分割，只能唯一地分割成一个个码字。
单义代码不需同步码 synchronous code
例：码字集1：{1, 01, 00}
码元序列：1100010101
码字集2：{1, 01, 00, 110}
码字集2是非单义的
码字集1是单义的
15
非续长代码/即时码/前缀条件码
Instantaneous code / prefix code
码字集的任一码字都不是由其他码字后面添加码元构成的
非续长代码一定是单义的
单义代码不一定是非续长的
非续长代码具有即时可译特性
码字集2：{1, 01, 00, 110} 是非单义的，续长的
码字集1：{1, 01, 00} 是单义的，非续长的
码字集3：{1, 10, 100, 1000} 是续长的
单义的
16
最佳码/紧致码 optimal code
平均码长最短的即时码
平均码长 Expected length / average length： ：
码字长度的数学期望
17
非奇异码
唯一可译码
即时码
所有码
最佳码
18
2、克拉夫特不等式 Kraft inequality
19
码字集1：{1, 01, 000, 001} 是单义的
码字集2：{1, 01, 001, 110} 是非单义的
码元序列：1100101101
20
3、用树图构造非续长代码/即时码
21
若规定向右为1，向左为0，则得不同的非续长代码，故非续长代码不唯一
22
23
4、 无失真变长信源编码定理（香农第一定理）
(Shannon first theorem)
文档评论（0）