原创力文档- 1、本文档共24页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
信息论总复习课件1.ppt
第一章 绪论 第二章 离散信源及其信息测度 第三章 离散信道及其信道容量 第五章 无失真信源编码定理 第八章 无失真信源编码 第六章 有噪信道编码 第九章 信道的纠错编码 第七章 保真度准则下的信源编码 * * 第一章 绪论 1、信息的特征：不确定性和可度量性 2、自信息的定义 3、互信息的定义 4、通信系统的研究对象 信 源 编码器 信 道 译码器 噪声源 信 宿 消息 信号 干扰 消息 第二章离散信源及其信息测度 1、单符号离散信源的信息熵 2、信息熵的性质 3、离散无记忆信源的扩展信源信息熵 4、二维离散平稳信源的信息熵 5、离散平稳信源的信息熵 6、性质 (1)条件熵 随N非递增； (2)N给定时，平均符号熵 条件熵； (3)平均符号熵 随N非递增； (4)当 时 称 为平稳信源的极限熵或熵率。 第三章离散信道及其信道容量 1、单符号离散信道的数学模型 a1 b1 a2 b2 ar bs 可求出： 已知 输入概率 信道矩阵 (1) 联合概率 (2) 输出符号概率 (3) 后向概率 2、平均互信息 损失熵 —— 信道疑义度H（X|Y） 噪声熵 —— 散布度 H(Y|X） 联合熵 —— H（XY） 维拉图表示熵的公式 3、信道容量 （3）对称离散信道容量 （4）准对称离散信道容量 第五章无失真信源编码定理 1、等长信源编码定理 ： 一个离散无记忆信源，熵为 ，信源长为N，码符号 r个，码字 长，对于任意 ，只要满足 则当N足够大时，可实现几乎无失真编码。即译码错误概率能为任意小。 反之，若 则不能实现无失真编码，而当N足够大时，译码错误概率近似等于1。 2、变长信源编码定理 香农第一定理信源 的熵为 ， r个码元，可构成唯一可译码，使信源S中每个信源符号所需的平均码长满足 或写成 3、几个概念 编码信息率 信道的信息传输率R 编码效率 码的剩余度 第八章无失真信源编码算法 香农编码、香农-范诺编码、霍夫曼编码 第6章 有噪信道编码定理 1、最小错误率译码准则 2、最大似然译码准则 选择译码函数 且满足条件: 则选择译码函数 的条件应满足 3、有噪信道编码定理 定理6.4 （有噪信道编码定理） 设离散无记忆信道 ， 为其信道传递概率，其信道容量为C。当信息传输率RC 时；只要码长n足够长，总可以在输入符号集中找到 个码字组成的一组码 和相应的译码规则，使译码的错误概率任意小 。 3、有噪信道编码定理 设离散无记忆信道 , 其信道容量为C。当信息传输率 RC , 则无论码长n多长，总也找不到一种编码 ，使译码错误概率任意小。 定理6.5 有噪信道编码逆定理
文档评论（0）