信息论编码 第1章 概论.pdf

信息论基础 第1章 概论 什么是信息(information)？ 什么是信息论(information theory, informatics)？ 什么是信息科学(information science)？ 一、信息的一般概念 1、信息是古老而现代的话题 说它古老，人类很早就有意识地传递信 息；中国古代的烽火狼烟就是一个例子。 说它现代，直到现在对信息也没有一个 公认的定义。 2、信息定义上的困惑 信息的各种定义： 信息是事物之间的差异； 信息是事物联系的普遍形式； 信息是物质和能量在时间和空间中分布的不 均匀性； 信息是能够用来消除随机不确定性的东西； …… 3、本体论与认识论层次的信息概念 对信息可以从本体论和认识论两个层次上去 理解。 本体论层次上，可以将任何事物的运动状态 及其变化方式都理解为信息。 例如花开果熟、鸟啼兽鸣等等都是信息。 从这个意义上讲，信息是一种客观存在，与 我们主观是否感知到它没有关系。 认识论层次上的信息概念却引入了一个约束 条件—认识主体，它只把那些认识主体所能 感知的事物的状态及其变化方式才视为信息。 而那些认识主体感觉不出来的，或者感觉到 了但不能理解的东西都不叫信息。 虽然认识论层次的信息概念，范围要窄一些， 但其内涵更丰富。 由于认识主体具有感觉能力、理解能力和目 的性，能够感知事物状态及其变化方式的外 在形式、 内在含义并能够判断其效用价值， 因此在认识论层次研究信息时，一般要同时 考虑到形式、含义和效用三个因素。 4、语法信息、语义信息和语用信息 在认识论层次研究信息时，把只考虑到 形式因素的部分称为语法信息； 把只考虑到含义因素的部分称为语义信息； 把只考虑到效用因素的部分称为语用信息。 语义信息和语用信息涉及认识主体的主 观因素。 目前，信息论中主要研究语法信息。 5、信息、消息(message)和信号(signal) 信息的数量描述始于美国科学家香农 (C.E.Shannon)。 1948年，香农发表了论文 “通信的数学理论”( A Mathematical Theory of Communication)，创立了 信息论，开始对信息的量 化研究。 为理解香农用数量描述的信息，从通信系统 模型谈起： 信源 编码 信道 译码 信宿 噪声 信源(source)是提供消息的人、机器或事物； 信宿(destination)是接收消息的人、机器或 事物； 信源 编码 信道 译码 信宿 噪声 信道——传输信号的媒介，信道中通 常引入噪声 编码——从消息到信号的变换和处理 译码——从含噪声信号到消息的反变 换和处理 消息是由图像、声音、文字、数字等符号组成 的序列。 消息的传递需要借助于载体；如用纸写字并传 递纸，纸就是载体。 通信系统中，承载消息的载体称为信号，如电 信号和光信号，相应的信道如电缆、传输电磁 波的空间和光缆等。 如果信宿收到的消息是已知的，则等于没有收 到任何消息。 因此，人们更感兴趣的是消息中所包含的未 知成分，用概率论的术语来讲，就是具有不 确定性的成分 ，香农将该成分称为信息，并 进行了数量描述。 三者的关系：通信系统传输的是信号，信号承 载着消息，消息中的不确定成分是信息。 6、信息的主要特性 普遍性 可度量性 相对独立性 可传输性 可存储性 可共享性