信息论2014-1汇编.pptVIP

Information Theory and Coding 电子与信息工程学院 顾学迈 （信息论基础部分—16学时） 第一章 概述 通信系统与信息 信息论的研究范畴 信息论与信息科学 * 1.1 通信系统与信息 1.1.1 通信系统的基本模型 通信的基本概念 “通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。 这是数学家香农（Claude E.Shannon）在他的惊世之著《通信中的数学理论》中的一句名言。 正是沿着这一思路他应用概率与数理统计的方法来研究通信系统，从而创立了影响深远的信息理论。 * 信源 信道 变换 反变换 信宿 噪声 1.1.1 通信系统的基本模型 通信系统的性能评价 研究通信系统的目的就是找到信息传输过程的基本规律，提高信息传输的可靠性、有效性、保密性和安全性，以达到最优化。 评价通信系统性能的最重要的两个指标就是有效性和可靠性。 通信系统的有效性就是用尽可能短的时间、频带、功率和成本传送一定数量的信息。例如，用信息传输速率描述时间有效性，用频带利用率描述频率有效性等，对于数字通信系统来说，信源编码是提高系统有效性的主要手段。 通信系统的可靠性就是要使信源发出的消息经过信道传输后，尽可能准确、不失真地再现在接收端。在数字通信系统中通常用误码率来表示，误码率是接收到错误码元在传送总码元数中的比率，通常用信道编码方法来降低系统误码率。 * 1.1.2 信息的概念 信息是什么？迄今为止还没有一个公认的定义。 英文Information的含义是情报、资料、消息、报导、知识的意思。简单地把信息定义为能够带来新内容、新知识的消息。 哈特莱第一次把消息、情报、信号、语言等等都是信息的载体，而信息则是它们荷载着的内容。 申农给予信息以科学定义：信息是人们对事物了解的不确定性的消除或减少。 物质、能量和信息是构成物质世界的三个基本元素。 * 1.1.2 信息的概念 广义信息概念 从广义信息论也就是信息科学的角度来讲，信息有以下三个不同层次上的定义。 语法信息：事物运动状态和运动规律本身就是信息。它只研究事物运动可能出现的各种状态，以及这些状态之间的关系，不研究状态的含义和状态变化的影响。香农信息论定义的信息属于这一层面上的一种描述，即从概率统计的角度来研究事物运动状态及状态变化的关系。 语义信息：事物运动状态和运动规律的具体含义和影响是信息。它研究事物运动状态及运动规律与客观实体的关系，即研究信息的具体含义，语义信息比语法信息更为复杂，更为具体。 语用信息：事物运动状态和运动规律及其含义对观察者的效用才是信息。它研究事物运动状态和规律与使用者的关系，研究信息的主观价值。语用信息比语义信息有更强的主观性和相对性。 * 1.1.2 信息的概念 狭义信息概念 信息通常被理解为消息，但严格地说，信息、消息和信号是三个不同层面的概念，通信系统传输的是信号，信号是消息的载体，而消息中的未知成分是信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是载荷信息的实体，可测量、可描述、可显示，如电信号、光信号、声信号等。 消息：或称为符号，是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，例如文字、数据、代码、图形等。 信息：信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息，信息是信号与消息的更高表达层次。 * 1.1.2 信息的概念 狭义信息概念 信息论创始人香农认为：信息是可以传递的，具有不确定性的消息（情报，数据，信号等）中所包含的表示事物特性的部分。 香农信息论认为信息的多少等于无知度的大小，不确定性的大小，因此，香农信息也称为概率信息。 综上所述，信息的特征主要包括： ①接收者在收到信息之前，对它的内容是未知的，所以信息是新内容、新知识； ②信息是能够使认识某一事物的未知程度和不确定性减少的有用知识； ③信息是可以传递、交换、携带、存储和处理的； ④信息是可以度量的，信息量有大小或多少的差别。 * 1.2 信息论研究的范畴 1.2.1 狭义信息论 狭义信息论也就是香农信息论，主要是以概率信息的度量为基础，研究通信系统的有效性和可靠性两大基本问题。 狭义信息论讨论的问题主要包括： ①信息的度量，即通信系统中的信息是否可以度量，如何度量； ②信道容量，典型的通信信道如何模型化，信息的传输速率可以提高到什么程度，香农公式； ③信源编码，信源的效率如何描述，信源的效率如何提高，极限是多少，香农第一编码定理； ④信道编码，信道的干扰如何克服，在有干扰的信道上如何提高信息传输速率，香农第二编码定理； ⑤率失真函数，在允许一定失真的条件下，信源是否可以进一步压缩，压缩到什么程度，香农