信息论与编码.pptVIP

信息论与编码 目录 第一章 绪论 第二章 信源和信息熵 第三章 无失真信源编码 第四章 限失真信源编码 第五章 信道编码 第六章 密码学 第1章 绪论 1.1 信息论的形成和发展 1.2 通信系统的模型 本章要点 信息论的形成和发展； 信息论研究的内容及信息的基本概念； 结合通信系统模型介绍模型中各部分的作用及编码的种类和研究内容。 1.1 信息论的形成和发展 １、信息论的形成和发展 早期定义是由奈奎斯特（Nyquist, H）和哈特莱（Hartley, LVR）在20世纪20年代提出来的． 1948年香农（C.E.Shannon）以《通信的数学理论》（A mathematical theory of communication）为题公开发表一篇关于现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。香农因此成为信息论的奠基人。 50年代信息论在学术界引起了巨大的反响。 60年代信道编码技术有较大进展，使它成为信息论的又一重要分支。香农1959年的文章（Coding theorems for a discrete source with a fidelity criterion）系统地提出了信息率失真理论，为各种信源编码的研究奠定了基础。 到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究 1.1 信息论的形成和发展 　什么是信息？如何度量信息？ 　在信息传输中，基本的极限条件是什么？ 　信息的压缩和恢复的极限条件是什么？ 　从环境中抽取信息的极限条件是什么？ 　设计什么样的设备才能达到这些极限？ 　实际上接近极限的设备是否存在？ 1.1 信息论的形成和发展 信息：信息是指各个事物运动的状态及状态变化的方式。 消息：消息是指包含有信息的语言、文字和图像等． 信号：信号是信息的载荷子或载体，是物理性的。如电信号、光信号等。 1.2 通信系统的模型 下图是目前较常用的、也是较完整的通信系统模型． 1.2 通信系统的模型 信源：向通信系统提供消息的人和机器。 信宿：消息传递的对象，即接收消息的人或机器。 信道：传递消息的通道，又是传送物理信号的设施。 干扰源：整个通信系统中各个干扰的集中反映，用以表示消息在信道中传输时遭受干扰的情况。 密钥源：产生密钥k源。信源编码器输出信号x经过k的加密运算后，就把明文x变换为密文y。 1.2 通信系统的模型 信源编码器：把信源发出的消息变换成由二进制码元（或多进制码元）组成的代码组以提高通信系统传输消息的效率。信源编码可分为无失真信源编码和限失真信源编码。 信道编码器：在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力。 密码学：研究如何隐蔽消息中的信息内容，使它在传输过程中不被窃听，提高通信系统的安全性。 1.2 通信系统的模型 电报常用的莫尔斯码就是按信息论的基本编码原则设计出来的； 在一些商品上面有一张由粗细条纹组成的标签，从这张标签可以得知该商品的生产厂家、生产日期和价格等信息，这些标签是利用条形码设计出来的，非常方便，非常有用，应用越来越普遍； 计算机的运算速度很高，要保证它几乎不出差错，相当于要求有100年的时间内不得有一秒钟的误差，这就需要利用纠错码来自动地及时地纠正所发生的错误； 每出版一本书，都给定一个国际标准书号（ISBN），大大方便图书的销售、编目和收藏工作。 1.2 通信系统的模型 有效性 可靠性 安全性 经济性 第2章 信源及信源熵 2.1　信源的描述和分类 2.2　离散信源熵和互信息 2.3　连续信源的熵和互信息 2.4　离散序列信源的熵 2.5　冗余度 2.1　信源的描述和分类 　离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 　连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。　 2.1　信源的描述和分类 2.1　信源的描述和分类 离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散有记忆信源所发出的各个符号的概率是有关联的。这种概率关联性可用两种方式： 2.1　信源的描述和分类 例如：　　 2.1　信源的描述和分类 最简单的有记忆源是N=2的情况,此时 2.2　离散信源熵和互信息 2.21 自信息量 2.2　离散信源熵和互信息 引入随机事件的不确定度概念。 2.21 自信息量 若有两个消息x，y同时出现，可用联合概率p(x，y)来表 示，这时的联合自信息量定义为． 2.21 自信息量 例