第一章信息论和编码绪论.pptVIP

是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的科学；它的主要目的是提高信息系统的有效性和可靠性，最优化；其主要内容（或分支）包括：香农理论、编码理论、维纳理论、检测和估计理论、信号设计与估计理论、调制理论和随机噪声理论。 ; 目的： 了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础。 ; 以信息理论为中心，区别与“信源编码”、“信道编码” 以概念和物理意义为主，数学推导尽量放到课外 结合通信系统实际应用;课程内容;教学目标;学信息论意义;有关事项;参考书;第一章 绪论;1.1 信息;信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学。 信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。 信息技术主要研究如何实现、怎样实现的问题。 ;概率信息; 对通信过程作进一步分析就可发现，人们要进行通信，不外有两种情形： ; 接收者收到某一消息后所获得的信息，可以用接收者在通信前后“不确定性”的消除量来度量。简而言之，接收者所得到的信息量，在数量上等于通信前后“不确定性”的消除量(或减少量)。; 不确定性是与“多种结果的可能性”相联系的，而在数学上，这些“可能性”正是以概率来度量的。概率大，即“可能性”大；概率小，“可能性”小。显然，“可能性”大，即意味“不确定性”小；“可能性”小，即意味“不确定性”大。;狭义信息论：在信息可以度量的基础上，对如何有效、可靠地传递信息进行研究。涉及信息度量、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。又称为香农信息论。 广义信息论：包含通信的全部统计特性问题的研究，除了香农信息论之外，还包括信号设计、噪声理论、信号的检测与估值等。　 本书讲述的信息理论的内容为狭义信息论;;例：气象预报 甲 乙 ;信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。;信息是指各个事物运动的状态及状态的变化的方式。抽象的、非物理的，是哲学层表达。 消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它也是信息的载荷体。是信息论中主要描述形式 信息的数学层表达 信号是消息的物理体现。信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体 信息的物理层表达;;信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。 反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外延。同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息;1.2通信系???模型;信源、信宿和信道 ;信源编码器与译码器 ;信源编码器与译码器;信道编码器与译码器;1.3? 信息论的形成与发展;20世纪电信技术飞速发展，如何提高信道利用率问题。 20世纪30年代前：研究发送信号无失真地送到接受端 30、40年代后期：香农提出了信息论的一系列概念（除通用编码外），是信息论的创始人。 50年代：通信界，主要精力转向信源编码和信道编码。如Huffman、算术、通用编码。形成各种标准。如：H.261、JPEG、MPEG。 (香农提出的理论缺陷是不能构造好的编码提出指导)！ 统计学的一个分歧。（略） 信号与信息处理的一般理论基础。 ;信息论的主要研究成果;信息论的主要研究成果;信息论的主要研究成果;信息论的主要研究成果