- 1、本文档共174页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
信息论与编码 西安工业大学电子信息工程学院 第五章 信源编码 通信系统的优化模型 本章内容 离散信源编码 连续信源编码 5.1 离散信源编码 编码的基本概念 码的分类 定长编码定理 变长编码定理 香农编码 费诺编码 赫夫曼编码 如果接收端收到一个完整的码字后,不能立即译码,还要等下一个码字开始接收后才能判断是否可以译码,这样的码叫做非即时码。 即时码的判决准则 克拉夫特不等式:设信源为 ,对其进行r元信源编码,相应码字长度为 ,则即时码存在的充要条件是: 唯一可译码的判决准则 麦克米伦不等式:设信源为 ,对其进行r元信源编码,相应码字长度为 ,则唯一可译码存在的充要条件是: 不同编码方式的衡量标准 平均码长:对离散无记忆信源进行信源编码,设编码后各个码字的码长分别为 ,则定义该码的平均码长为: 如果某种编码方式的平均码长小于所有其他编码方式,则该码称为紧致码或最佳码。 编码信息率(编码速率): 码长 表示长为N的信源序列用多少个r进制码符号表示,因此 表示平均一个信源符号用多少个r进制符号表示,再乘以 表示将r进制转换成二进制 编码效率: 含义:理论上平均每个信源符号用多少个二进制符号的个数除以实际上用的二进制码符号的个数,即表示一种编码的效率。 码字与信息率的关系 有时消息太多,不可能或者没必要给每个消息都分配一个码字; 给多少消息分配码字可以做到几乎无失真译码? 传送码字需要一定的信息率,码字越多,所需的信息率越大。编多少码字的问题可以转化为对信息率大小的问题; 信息率越小越好,最小能小到多少才能做到无失真译码呢? 这些问题就是信源编码定理要研究的问题。 信源编码的方法 信源编码有定长和变长两种方法。 定长编码:码字长度 K 是固定的,相应的编码定理称为定长信源编码定理,是寻求最小 K 值的编码方法。 变长编码:K 是变值,相应的编码定理称为变长编码定理。这里的 K 值最小意味着数学期望最小。 定长编码定理:一个熵为 H(X) 的离散无记忆信源 X1X2…Xl…XN,若对信源长为 N 的符号序列进行定长编码,设码字是从 m 个字母的码符号集中,选取 K 个码元组成Y1Y2…Yk…YK。对于任意ε0,δ0 ,只要满足 则当 N 足够大时,必可使译码差错小于δ,即译码错误概率能为任意小.反之,若: 则不可能实现无失真编码,而当 N 足够大时,译码错误概率近似等于1. 定理中的公式改写成:Klog2mNH(X) Klog2m:表示长为 K 的码符号序列能载荷的最大信息量NH(X) :代表长为N 的信源序列平均携带的信息量 平均符号熵。 定长编码定理告诉我们:只要码字传输的信息量大于信源携带的信息量,总可实现几乎无失真编码。 可以证明: 信源编码定理从理论上说明了编码效率接近于 1,即: 的理想编码器的存在性,代价是在实际编码时 取无限长的信源符号 (N→∞) 进行统一编码。 说明:定长编码定理是在平稳无记忆离散信源的条件下论证的,但它同样适用于平稳有记忆信源,只是要求有记忆信源的极限熵和极限方差存在即可。对于平稳有记忆信源,定理中的熵应改为极限熵。 [例]:设单符号信源模型为: 其信息熵为:H(X)=2.55(比特/符号) σ2(x)=1.323 若要求编码效率为η = 90%,即: 译码差错率为δ=10-6,则ε=0.28, 在差错率和效率要求都不苛刻的情况下,就必须有1600多万个信源符号一起编码,技术实现非常困难。 [例]:离散无记忆信源: 其信息熵为: 自信息的方差为: 若对信源X采取等长二元编码时,要求η=0.96,δ=10-5 信源序列长度需长达4130万以上,才能实现给定的要求,这在实际中很难实现。 一般来说,当 N 有限时,高传输效率的等长码往往要引入一定的失真和错误,它不能像变长码那样可以实现无失真编码。 (1) 基本概念 (2) 码树图 (3) 变长编码定理 (1) 基本概念 变长编码(不等长编码):不等长编码允许把等长的消息变换成不等长的码序列。通常把经常出现的消息编成短码,不常出现的消息编成长码。这样可使平均码长最短,从而提高通信效率,代价是增加了编译码设备的复杂度。 例如:在
您可能关注的文档
- 31.恐龙的灭绝绪论.pptx
- 第5课古代希腊民主政治(共28张)总汇.ppt
- 必修三第一课百家争鸣与儒家思想的形成绪论.ppt
- 第5课和同为一家总汇.ppt
- 必修三英语unit1情态动词的用法绪论.ppt
- 第5课青铜器与甲骨文总汇.ppt
- 必修四4.1《世界的物质性1》绪论.ppt
- 必修四Unit2grammar语法动名词绪论.ppt
- 46吨液压系统评审绪论.pptx
- 必修四Unit2动名词绪论.ppt
- 招生宣传与社交媒体策略.pptx
- 2025-2030橙汁产业规划专项研究报告.docx
- 2025-2030散装盐行业市场现状供需分析及重点企业投资评估规划分析研究报告.docx
- 2025-2030板鞋行业发展分析及投资价值研究咨询报告.docx
- 2025-2030数码文化设备产业市场深度调研及发展趋势与投资研究报告.docx
- 2025-2030气体燃料内燃机行业发展分析及投资价值研究咨询报告.docx
- 2025-2030氯化锌干电池行业市场现状供需分析及重点企业投资评估规划分析研究报告.docx
- 2025-2030核磁共振设备市场前景分析及投资策略与风险管理研究报告.docx
- 2025-2030棉花行业风险投资运行分析及运作模式与投融资研究报告.docx
- 2025-2030殷瓦钢行业市场深度调研及前景趋势与投资研究报告.docx
文档评论(0)