(信息论)第1章绪论.pptVIP

* * 第 1 章 绪 论 1.1 信息 信息论（通信的数学理论）：利用近代数理统计方法对信息的传输、存储与处理进行研究的一门科学。 信息论研究的主要对象就是信息，所以说信息是信息论中最基本、最重要的概念，是一个既复杂又抽象的概念。 信息的概念是十分广泛的，由于信息科学比其它学科发展晚，而且人类对信息的认识还不够，所以至今为止，信息并没有形成一个很完整的系统的概念。对信息的定义还没有形成统一的认识。 信息的通俗概念：信息=消息，这是一种最普通的概念，是目前社会上最流行的概念。但是信息和消息并不是一回事，两者不能等同。不同的消息产生的信息量是不同的。 信息的广义概念：认为信息是对物质存在和运动形式的一般描述。信息是事物的表征，但信息不是物质。信息存在于任何事物之中，有物质的地方就有信息，信息充满着整个物质世界。 信息是一个十分抽象的概念。信息本身看不见、摸不着的，它必须依附于一定的物质形式，如图像、电波等。这种运载着信息的物质，称为信息的载体。一切物质都有可能成为信息的载体。 概率信息：概率信息是由美国数学家香农(C.E.Shannon)提出来的，故称Shannon信息或狭义信息。他是从不确定性(随机性)和概率测度的角度给信息下定义的。Shannon从信息源具有随机性不定度出发，为信源推出一个与统计力学的熵相似的函数，称为信息熵。 这个熵就是信源的信息选择不定度的测度，从而我们可以认为信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量。 信息度量应满足信息的3个基本方向；结构的、统计的和语义的。 结构理论是研究大量信息的离散构造的。它通过简单计算信息元方法，或者用大量信息简易编码所提供的组合方法对信息进行测量。 统计理论是利用熵的概念，作为统计发生概率的不确定性度量，从而得出这些或那些消息的信息量。 信息的特点 物质、能量和信息是构成客观世界的三大要素。但它与物质和能量相比，具有一些特殊性质。 信息是无形的 信息是可共享的 信息是无限的 信息是可度量的 消 息 消息是比较具体的概念，消息是信息的载荷者。消息具有不同的形式，例如语言、图片等，所有这些形式都是能够被人们感觉到的。构成消息的条件有两个：一是构成的消息能够被通信双方所理解；二是可以在通信中进行传递和交换。 同一个消息可以含有不同的信息量，而同一信息可以用不同形式的消息来载荷。 信 号 信号是消息的表现形式，消息则是信号的具体内容。信号是消息的载体，是表示消息的物理量。 1.2 通信系统模型 信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。通信系统实际上是信息的传输系统，如电话、导航等系统。虽然实际的通信系统形式和用途各不相同，但从信息传输的角度来看，在本质上有许多共同之处，它们均可概括如下图中所示的基本模型。 信 源 编码器 信 道 译码器 信 宿 干扰源 消息 信号 干扰 消息 通信系统类型：模拟通信系统、数字通信系统 信源：产生消息的源。消息可以是离散的，也可以是连续的，但都是随机发生的。信源研究的主要内容是消息的统计特性和信源产生信息的速率。 编码器：将信源发出的消息变换成适合于信道传输的信号的过程。它可包含如下三个 部分：信源编码器、纠错编码器、调制器。 信源 信源编码器 信宿 信源译码器 纠错编码器 纠错译码器 调制器 解制器 信道 干扰源 信道编码器 信道译码器 通信系统模型 信道：把载荷信息的信号从发射端传到接收端的媒质或通道，是包括收发设备在内的物理设施。 干扰源：实际干扰可以分成加性干扰和乘性干扰两大类。 译码器：编码器的逆变换。可分为信源译码器和信道译码器两种类型。 信宿：信息传送过程中的接受者。信宿与信源可处于不同的地点或存在于不同的时刻。