- 1、本文档共94页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
信息论与编码zjh201209zjh第五章
信源编码 第5章 信源编码: 无失真信源编码—第一极限定理 离散信源 限失真信源编码—第三极限定理 连续信源 信道编码 第二极限定理 信源编码 在不失真或允许一定失真条件下,如何用尽可能少的符号来传送信源信息,以便提高信息传输率 信道编码 在信道受干扰的情况下如何增加信号的抗干扰能力,同时又使得信息传输率最大。 信源编码: 将信源输出符号,经信源编码器后变换成另外的压缩符号,然后将压缩后信息经信道传送给信宿 信源符号之间存在分布不均匀和相关性,使得信源存在冗余度,信源编码的主要任务就是减少冗余,提高编码效率。 针对信源输出符号序列的统计特性,寻找一定的方法把信源输出符号序列变换为最短的码字序列。 编码定理证明: 必存在一种编码方法,使代码的平均长度可任意接近但不能低于符号熵; 达到这目标的途径就是使概率与码长匹配。 统计匹配编码: 根据信源的不同概率分布而选用与之匹配的编码,以达到在系统中传信速率最小。 5.1 编码的定义 用树的概念可导出唯一可译码存在的充分和必要条件,各码字的长度Ki 应符合克劳夫特( Kraft )不等式: 例5-1:设二进制码树中X=(a1 , a2 , a3 , a4), K1=1,K2=2,K3=2,K4=3,应用Kraft不等式,得: 当编码器容许的输出信息率,也就是当每个信源符号所必须输出的码长是 当信源序列长度L满足 在连续信源的情况下,由于信源的信息量趋于无限,显然不能用离散符号序列Y来完成无失真编码,而只能进行限失真编码。 例 设离散无记忆信源概率空间为 比特/符号 5.2.2 变长编码定理 例5-3 将信源序列的长度增加,L=3或L=4,对这些信源序列X进行编码,并求出其编码效率为 5.2.3最佳变长码 凡是能载荷一定的信息量,且码字的平均长度最短,可分离的变长码的码字集合称为最佳变长码。为此必须将概率大的信息符号编以短的码字,概率小的符号编以长的码字,使得平均码字长度最短。 香农第一定理指出了平均码长与信源之间的关系,同时也指出了可以通过编码使平均码长达到极限值,这是一个很重要的极限定理。 香农第一定理指出,选择每个码字的长度Ki满足下式: 二进制香农码的编码步骤如下: (1)将信源符号按概率从大到小的顺序排列, p(a1)≥ p(a2)≥…≥ p(an) (2)确定满足下列不等式的整数Ki , -log2 p(ai)≤ Ki 1-log2 p(ai) (3)令p(a1)=0,用Pi表示第i个码字的累加概率, 2.费诺编码 费诺编码属于概率匹配编码 。编码步骤如下: (1)将概率按从大到小的顺序排列,令 p(x1)≥ p(x2)≥…≥ p(xn) (2)将依次排列的信源符号按概率值分为两大组,使两个组的概率之和近于相同,并对各组赋予一个二进制码元“0”和“1”。 (3)将每一大组的信源符号进一步再分成两组,使划分后的两个组的概率之和近于相同,并又赋予两个组一个二进制符号“0”和“1”。 (4)如此重复,直至每个组只剩下一个信源符号为止。 (5)信源符号所对应的码字即为费诺码。 例 对以下信源进行费诺编码。 例有一单符号离散无记忆信源 对该信源编二进制费诺码,编码过程如表: 信源熵为 H(X)=2.75(比特/符号) 平均码长为 3.哈夫曼编码的步骤如下: ⑴ 将信源消息符号按其出现的概率大小依次排列 p(x1)≥p(x2)≥…≥ p(xn) ⑵取两个概率最小的字母分别配以0和1两码元,并将这两个概率相加作为一个新字母的概率,与未分配的二进符号的字母重新排队。 ⑶ 对重排后的两个概率最小符号重复步骤⑵的过程。 ⑷不断继续上述过程,直到最后两个符号配以0和1为止。 ⑸ 从最后一级开始,向前返回得到各个信源符号所对应的码元序列,即相应的码字。 例5-7 设单符号离散无记忆信源如下,要求对信源编二进制哈夫曼码。编码过程如下表 平均码长为 哈夫曼的编法并不惟一。 每次对缩减信源两个概率最小的符号分配“0”和“1”码元是任意的,所以可得到不同的码字。只要在各次缩减信源中保持码元分配的一致性,即能得到可分离码字。 不同的码元分配,得到的具体码字不同,但码长Ki不变,平均码长也不变,所以没有本质区别; 缩减信源时,若合并后的新符号概率与其他符号概率相等,从编码方法上来说,这几个符号的次序可任意排列,编出的码都是正确的,但得到的码字不相同。 不同的编法得到的码字长度Ki也不尽相同。 例5-8 单符号离散无记忆信源 单符号信源编二
您可能关注的文档
- 供暖热水锅炉控制系统设计.doc
- 供热工程(第四版)第17章 集中供热系统自动化.ppt
- 供热工程(第四版)第16章集中供热系统方案设计比选.ppt
- 供热二级站管理制度.doc
- 供热工程第8章.ppt
- 供应链 Chap006.ppt
- 作物着色技术知识.ppt
- 供电(A卷).doc
- 供配电设计方案.docx
- 侵权法ppt(第四编).ppt
- 2024.10.10修改.鹤煤公司“一优三减”三年工作方案(1).docx
- 2024年11月25日鹤煤公司对三矿11月份机关月度隐患排查.doc
- 江苏专用2024年高考历史一轮复习专题五当今世界政治格局的多极化趋势第14讲两极世界的形成练习含解析新人教版.doc
- 2024_2025高中语文第四单元第7课娜塔莎一教案新人教版选修外国小说欣赏.doc
- 2025版高中英语Unit1FriendshipLearningaboutLanguage学案新人教版必修1.doc
- 统考版2025版高考物理一轮复习第十三章热学第2讲固体液体与气体学生用书.docx
- 统考版2025版高考地理一轮复习第一部分自然地理第三章地球上的大气第6讲冷热不均引起大气运动学生用书.docx
- 2024高考英语一轮复习Module4ASocialSurvey_MyNeighbourhood学案外研版必修1.doc
- 2025届高考语文一轮复习题型强化训练“语言文字运用”板块限时练2含解析.docx
- 统考版2025版高考物理一轮复习第二章相互作用实验二探究弹簧弹力与形变量的关系学生用书.docx
最近下载
- 工程结构健康监测技术规程.pdf VIP
- YST 509.1-2008锂辉石、锂云母精矿化学分析方法 氧化锂、氧化钠、氧化钾量的测定 火焰原子吸收光谱法.pdf
- 社区获得性肺炎诊断和治疗指南.pdf VIP
- 初中美术七年级下册(2024)湘美版(2024)合集.docx
- 解剖独立代理人制度.pptx
- 14日天津市直机关遴选面试真题及解析.docx VIP
- 中央银行学(第五版)全套PPT课件.pptx
- 天翼云解决方案架构师(高级)认证资格考试题(附答案).doc VIP
- 房地产-新发展模式展望系列二:新加坡凯德集团:开发投管有机联动,资产管理能力卓著.pdf VIP
- 新标准大学英语(第二版)综合教程2 课后练习答案.pdf
文档评论(0)