[2018年最新整理]信息论及编码.ppt

信息论及编码;第一章 绪论;1.1 信息的定义与性质;信 息 的 定 义：;二、信息的性质 信息是一种资源，信息向人类提供无穷无尽的知识 和智慧，是生命的资源。信息具有的特殊性质： （1）信息是无形的； （2）信息资源可以“无限共享”； （3）信息资源具有“永不枯竭”的性质； （4）信息具有“开发和驾驭”的能力； （5）信息是可度量的。;三、信息的作用和价值：;传感技术：是人的信息感受器官的功能的扩展和延 长；包含信息识别、检测、提取、交换 和处理。 通信技术：是人的信息输送系统（神经系统）功能的 扩展和延长；包含信息检测、变换、处 理、传递、存储及控制与调节等。 计算机技术：是人的信息处理器官（大脑）功能的延 长；包含信息存储、检索、处理、分 析、及产生与控制等。 ;五、信 息 的 表 示;R在观察X的过程中，实际获得的信息量为： I(X;R) ＝I(X) －I0(X;R) 若I(X;R)＝0，并不表示事物X没有信息，只说 明观察者得实得信息量等于0。 要区分“实得信息为零”和“实在信息为零”两个 不同概念。实在信息是最基本的概念，而实得 信息却是最有用得概念。;1.2 信息论的主要研究内容与发展途径 ;一、信息论的主要研究内容;2、信源的统计特性 包括：（1）文字、字母统计特性； （2）语音的参数分析和统计特性； （3）图片及活动图像的统计特性； （4）其它信源的统计特性。 3、收信者接收器官的研究 包括：（1）人的听觉和视觉器官的特性； （2）人的大脑感受和记忆能力的模拟。 研究无扰和有扰信道上信宿能收到的信息量的多少;4、编码理论与技术的研究;6、抗干扰理论与技术的研究;二、 信息论的发展途径;2、侠义信息论（香农信息论） 香农认为信号在通过噪声信道的前后都需要进 行处理。 香农研究信源和信道的统计特性及其编码方法，以 提高信息传输的效率和可靠性，它是通信理论的基 础。 维纳和香农探讨的数学模型有很大不同，但两种模 型的最终目的都是在接收端逼真地重现原信号。;1. 3 信道编码的研究内容与发展简史;1957年，Prange提出了循环码概念，可利用码字的循环特性降低编译码器的复杂度。 1959年，发现了循环码的一个重要子类，即BCH码，Reed和Solomon在多进制上构造出的BCH码,称为RS码，可以纠正突发错误，但直到1967年Berlekamp提出一个有效译码算法后RS码才广泛应用。 以上分组码在信噪比较低时，性能相当差。 1955年，Elias提出了卷积码概念，克服了分组码的缺点，1961年Wozencraft和Reiffen提出序列译码算法，Fano和Jelinek对其进行了改进；但直到1967年引入了Viterbi算法后，最佳译码方案才可实际操作。;卷积码抗突发错误能力较差，但可以通过交织器来减轻。 1993年，在通信国际会议（ICC）上，讨论了一种新的编码方式和相关译码技术，作者Berrou、Glavieux和Thitimajshima将其称为Turbo码，其编码系统与香农理论极限更接近了。 1960年，Gallager提出了LDPC码，即低密度奇偶校验码，其性能接近香农极限，误码率小，抗干扰性强，但运算复杂度较大。但随着技术进步，可使其复杂度更低，现在又对其重新研究，LDPC码取代Turbo码的趋势明显，应用前景良好。;1. 4 信源编码的研究内容与发展简史;二、数据压缩的可能性和基本方法 依据香农理论，信源编码定理包括无失真和限失真 信源编码两种类型，相应的数据压缩应用技术也分 为无失真数据压缩（如传真系统）和限失真数据压缩（如图像、语音系统） 数据压缩研究的重点是在信息率失真理论指导下的限失真编码方法。 三、信源编码研究的发展与现状 早期，电报系统中的莫尔斯码提高了电报通信的速度；图像编码用于伦敦与纽约间的海底电缆传输，使一幅新闻图片传输时间由一星期缩短为小于三小时；声码器使数字语音能在窄带电话信道内传输。;从20世纪40年代末开始，以香农信息论为理论指导、以计算机为处理工具的信源编码理论与技术得到系统研究和应用。 上世纪60至70年代，预测编码和正交变换编码快速发展，1969年，Milliard等人研制出带宽约1MHz的电视电话DPCM编译码机。 1983年，提出32kb/s长途电话质量语音DPCM标准的编码系统；设计出ADM和LPC语言压缩器，运用于轻便电话和移动通信系统； 1988年以