《信息论与编码》_第1章_序论.ppt

第一章：引论（简介） 一、通信系统模型 二、Shannon信息论的中心问题 三、Shannon信息的概念 四、概率复习内容 一、通信系统模型 信源、信道、信宿 信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。 通信系统模型进一步细分 信息 一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素 辞海：通信系统传输和处理的对象。泛指消息和信号的具体内容和意义。（通常需要分析和处理） 信息 定义1： 信息是指各个事物运动的状态及状态变化的方式。（人们从对周围世界的观察得到数据中获取信息） 定义2： 信息是认识主体（人、生物或机器）所感受的或表达的事物运动的状态和运动状态变化的方式，是人们在适应外部世界和控制中，从外部交换的信息。 信息定义 钟义信：信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。 信息的特征 接受者在受到信息之前，对它的内容不知道，所以信息是新知识、新内容。 信息是能使认识某一事物的未知性和不确定性减少的有用知识。 信息可以产生，也可以消失，可以携带存储及处理 信息是可以度量的，信息量有多少的差别 消息和信号 消息： 是信息的载体，相对具体的概念，指包含消息的语言，文字，数字，图像等。 在通信系统中消息是指担负着传送信息任务的单个符号或符号序列。 信号 信号： 是消息的物理体现，为了在信道上传输信息必须把消息加载到具有某种特征的信号上去。如：电信号的幅度，频率，相位等等。 信息、消息和信号 通信系统传输的本质是信息， 发送端需要将信息表示成具体的消息， 再将消息载至信号上，在通信系统中传输。 二、Shannon信息论的中心问题 “信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。 信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。 可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端 有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息 二、Shannon信息论的中心问题 具体地说，就是信源编码和信道编码。以下来看所要解决的具体问题。 问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：信源消息是一片无尽的天空。因此优先捡有用的发送。什么是有用的？就是信息量大的。什么是信息量大的？） 问题二：信道因干扰而出现差错，必须进行检错和纠错。（否则所收到的消息无法识别。） 信息论的研究内容 狭义信息论（经典信息论）即Shannon信息论 研究信息测度，信道容量以及信源和信道编码理论 一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学 狭义信息论体系结构 三、Shannon信息的概念 第一个重要概念：信道上传送的是随机变量的值。这就是说： （1）我们在收到消息之前，并不知道将要收到的是什么消息。否则消息是没有必要发送的。 （2）我们在收到消息之前，知道将要收到的可能是哪些消息，以及收到每个消息的可能性大小。换句话说，消息随机变量有一个已知的概率分布。 （3）消息随机变量的一个可能取值就称为一个事件。 三、 Shannon信息的概念 第二个重要概念：事件的信息量。事件发生的概率越小，此事件含有的信息量就越大。（直观含义：越是不太可能发生的事件竟然发生了，越是令人震惊） 例 事件A=“中国足球队3：0力克韩国足球队”，则事件A含有的信息量大。（小概率事件发生了，事件信息量大） 例 事件B=“中国足球队0：1负于韩国足球队” ，则事件B含有的信息量小。（大概率事件发生了，事件信息量小） 三、 Shannon信息的概念 第三个重要概念：消息随机变量的信息量。消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。（直观含义：这种信息量的大小代表了不可预见性的大小） 例 消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。 （随机性小，可预见性大，因此该消息随机变量含有的信息量小。） 例 消息随机变量Y=“意大利足球队与德国足球队比赛的结果”，则消息随机变量Y含有的信息量大。 （随机性大，可预见性小，因此该消息随机变量含有的信息量大。） 三、 Shannon信息的概念 第四个重要概念：两个事件的互信息量。两个事件越是互相肯定，它们的互信息量就越大。两个事件越是互相否定，它们的互信息量就越小。 如果两个事件既不互相肯定，也不互相否定，它们的互信息量就为0。 （直观含义：这种信息量的大小代表了相互肯定性的大小） 例 A=西安明日有雨, B=咸阳明日有雨