信息论基础与编码详解.PPT

信息论基础与编码 信 息 论 基 础 与 编 码 王 萍 西安交通大学电信学院 Information Theory and Reliable Communication 信息论与可靠通信 作者Robert G.Gallager MIT麻省理工大学，68年出版 A Mathematical Theory of Communication通信的数学理论 C.E.Shannon Bell公司的Technical Journal，49年发表 《信息论——基础理论与应用》 傅祖芸 主编， 电子工业出版社，2001年 《信息论与编码理论》 沈世镒 陈鲁生 主编， 科学出版社，2002年 《信息论与编码基础》 戴善荣 主编， 机械工业出版社，2005年 课程目的 掌握信息论的基本概念、基本理论和基本分析方法。 信息论的起源 起源于通信技术，基本理论起源于上世纪40年代， 标志：香农信息论：”A Mathmatic theory in communication”(通信中的数学理论)，1948年，Bell实验室的Techinical Journal。 信息论之父——香农 第一章 信息与信息的度量 本章的教学内容： 1．信息论的研究内容，课程概要； 2. 信息的基本概念； 3．信息的度量； 基本要求： 了解信息论的产生及发展，本课程的基本情况； 理解信息的概念和含义； 掌握信息的度量方法——信息量，信息熵。 1.1引言 1.1.1信息论与信息 信息论是一门应用概率论、随机过程和数理统计等方法来研究信息的存储、传输和处理中一般规律的学科。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。 信息论是研究信息的科学和理论，它定量描述信息的统计特性。 写信 解决通信系统中消息传输的有效性、可靠性、保密性、认证性。 1、有效性：信源编码（压缩冗余） 2、可靠性：信道编码 3、保密性：保密编码 4、认证性 1）围绕信息的度量所展开的讨论； 这是信息论建立的基础，给出了各种信息量和各种熵的概念。 2）围绕无失真信源编码所展开的讨论； 最主要的结论是Shannon 第一定理以及各种信源编码的方法。 3）围绕信道编码所展开的讨论； 给出了信息传输速率、信道容量等概念，最主要的结论是Shannon 第二定理，以及基于该定理的各种信道编码，如分组码、卷积码等。 4）围绕带限信道传输信息的能力所展开的讨论； 最主要的结论是信道容量公式，或称为Shannon公式。 5）基于信息传输时允许一定程度的失真和差错（Error）所展开的讨论； 由此得到信息率失真理论、Shannon第三定理、信息价值等。这是目前还在不断发展和完善的理论，在通信以外的学科不断得到应用。 6）围绕通信网的发展带来的信息传输问题所展开的讨论； 即网络信息理论，随着通信网、因特网的发展，它越来越受到重视。 7）围绕通信的保密所展开的讨论； 包括保密通信的技术体制及数学模型，传输线路保密技术的信息论基础，信息保密技术的基础知识以及保密通信的各种方法等。 本课程主要涉及1）－4）。 物质、能量、信息是宇宙中的三大组成要素。 人们对于物质和能量的了解很早就有，但对于信息的了解却晚很多，就是到了现代发达的社会，信息还是没有一个完整、严格的定义。 信息无处不在，是看不见，摸不着的。 信息是香农信息论中最基本、最重要的概念，它是一个既抽象又复杂的概念，这一概念是在人类社会互通情报的实践过程中产生的。 关于信息的科学定义，到目前为止，国内外已有百余种流行的说法，它们都是从不同的侧面和不同的层次来揭示信息的本质的。 香农在1948年发表的论文，他从研究通信系统传输的实质出发，对信息做了科学的定义，并进行了定性和定量的描述。 信息是对认识在传输过程中的特性的度量。 消息：认识是通过消息的形式进行传递。 消息是知识在传递过程中的表现形式，通常表现为声音、文字、图像三种形式。 信息不能等于消息。消息中包含信息，是信息的载体。同一则信息可用不同的消息形式来载荷。如球赛进展情况可用电视图像、广播语言、网站直播文字等不同消息来表达。 消息传递的特点： ①消息知识量——固定； ②目的——使接收者对消息完全知； ③传递信息量——随接收者而异。 需要传输的，只是为使接收者达到确知水平所需的那部分知识差额。如何对这种差额进行度量，对它进行高效、可靠地传递是Shannon信息论中重要要研究的。而信息正是对这一差额的定量描述。 信息是对在传消息中接收者尚未了解（不知道的、不掌握的）的那部分知识的度量。