中南大学信息论与编码讲义-引言.pptVIP

本章作业 习题 0.4、0.6、0.7 信息论与编码 主讲教师：何毅 教材参考及参考书 教材：Robert J.McEliece著 李斗等译，《信息论与编码理论》，电子工业出版社，2004.2 参考书：姜丹，《信息论与编码》，中国科学技术大学出版社，2001.8曹雪虹，《信息论与编码》，清华大学出版社，2004 引言 本书研究的内容 信息论的形成和发展 几个概念 几个编码 信道编码定理 本课程研究的内容 信息论研究的内容非常广泛，本书的研究的内容。分为两个部分：信息论与编码。 信息论主要从理论上解决下面的问题： （1）什么是信息？如何度量信息？ （2）在信息传输中，基本的极限条件是什么？ （3）信息的压缩和恢复的极限条件是什么？ （4）从环境中抽取信息的极限条件是什么？ （5）设计什么样的设备才能达到这些极限？ （6）实际上接近极限的设备是否存在？ 本课程研究的内容 具体来说，第一部分讲解了香农信息论与编码理论的主要内容，如熵和信息量的基本概念与性质，以及信道、信源编码定理。 第二部分介绍了一些香农编码理论的信道和信源编码方法，具体包括线性码、循环码、BCH和RS码、卷积码等信道纠错编码，以及变长信源编码等。 信息论的形成和发展 20世纪20年代奈奎斯特（Nyquist，H．）和哈特莱（Hartley，L．V．R．）提出了信息的定义 1924年奈奎斯特解释了信号带宽和信息速率之间的关系 1928哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法 1936年阿姆斯特朗（Armstrong）提出了增大带宽可以使抗干扰能力加强 信息论的形成和发展 1941～1944年香农对通信和密码进行深人研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。香农因此成为信息论的奠基人。 信息论的形成和发展 60年代信道编码技术有较大进展，使它成为信息论的又一重要分支；信源编码的研究落后于信道编码。香农 1959年的文章(Coding theorems for a discrete source with a fidelity criterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础 信息论的形成和发展 到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究。到目前为止，多用户信息论研究得不多，还有许多尚待解决的课题。 几个概念 信息、消息、信号、数据 信源、信道 信息 信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息 消息 消息是指包含有信息的语言、文字和图像等，例如我们每天从广播节目、报纸和电视节目中获得各种新闻及其他消息。消息是具体的，它载荷信息，但它不是物理性的。 信号 信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载（调制）到具有某种物理特征的信号上去。信号是信息的载荷子或载体，是物理性的。如电信号、光信号等。 信号 按照信息论或控制论的观点，在通信和控制系统中传送的本质内容是信息，系统中实际传输的则是测量的信号，信息包含在信号之中，信号是信息的载体。信号到了接收端（信息论里称为信宿）经过处理变成文字、语声或图像，人们再从中得到有用的信息。 数据 载有信息的可观测、可传输、可存储及可处理的信号均称为数据 二进制对称信源 是一个可以发出定义为“0”、“1”的两种特定的实体，数率为单位时间内R个符号。称这些符号为比特(bits，binary digits)。信源随机地发出这些比特“0”、“1”的数率概率相同。 二进制对称信道 简称BSC，是一个单位时间内可以传送1比特数据的实体。但是该信道并不是完全可靠的：存在一个固定的概率p(称为原始误比特率)，满足0≤p≤1/2，使输出比特与输入比特不相同。 重复编码-多票判决译码 R=1/3 信源输出： 1 0 1 0 0 信道编码：111 000 111 000 000 信道输出：101 011 111 001 100 信道解码： 1 1 1 0 0 用Pe表示误比特率 Pe =P{2个信道错误}+P{3个信道错误} =3p2(1-p)+ p3 =3p2-2p3 p 重复编码-多票判决译码 R=1/(2n+1) 对于原始误比特率p1/2的固定BSC，当n→∞时，Pe→0，即通过这些重复编码方式，可以使信道达到理