信息论与编码理论第一章.ppt

第一章：引论（简介） 一、通信系统模型 二、Shannon信息论的中心问题 三、Shannon信息的概念 四、概率复习内容 一、通信系统模型 信源、信道、信宿 信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。 一、通信系统模型 信源、信道、信宿 信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。 一、通信系统模型 信源、信道、信宿 信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。 一、通信系统模型 信源、信道、信宿 信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。 一、通信系统模型 信源、信道、信宿 信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。 二、Shannon信息论的中心问题 “信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。 信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。 （具体地说，就是信源编码和信道编码。以下来看所要解决的具体问题。） 问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：信源消息是一片无尽的天空。因此优先捡有用的发送。什么是有用的？就是信息量大的。什么是信息量大的？） 问题二：信道因干扰而出现差错，必须进行检错和纠错。（否则所收到的消息无法识别。） 三、Shannon信息的概念 （直观地认识shannon信息和信息量，而暂时不使用定义） 第一个重要概念：信道上传送的是随机变量的值。这就是说： （1）我们在收到消息之前，并不知道将要收到的是什么消息。否则消息是没有必要发送的。 （2）我们在收到消息之前，知道将要收到的可能是哪些消息，以及收到每个消息的可能性大小。换句话说，消息随机变量有一个已知的概率分布。 （3）消息随机变量的一个可能取值就称为一个事件。 三、 Shannon信息的概念 第二个重要概念：事件的信息量。事件发生的概率越小，此事件含有的信息量就越大。（直观含义：越是不太可能发生的事件竟然发生了，越是令人震惊） 例 事件A=“中国足球队3：0力克韩国足球队”，则事件A含有的信息量大。（小概率事件发生了，事件信息量大） 例 事件B=“中国足球队0：1负于韩国足球队” ，则事件B含有的信息量小。（大概率事件发生了，事件信息量小） 三、 Shannon信息的概念 第三个重要概念：消息随机变量的信息量。消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。（直观含义：这种信息量的大小代表了不可预见性的大小） 例 消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。 （随机性小，可预见性大，因此该消息随机变量含有的信息量小。） 例 消息随机变量Y=“意大利足球队与德国足球队比赛的结果”，则消息随机变量Y含有的信息量大。 （随机性大，可预见性小，因此该消息随机变量含有的信息量大。） 三、 Shannon信息的概念 第四个重要概念：两个事件的互信息量。两个事件越是互相肯定，它们的互信息量就越大。两个事件越是互相否定，它们的互信息量就越小。 如果两个事件既不互相肯定，也不互相否定，它们的互信息量就为0。 （直观含义：这种信息量的大小代表了相互肯定性的大小） 例 A=西安明日有雨, B=咸阳明日有雨，BC=咸阳明日无雨， C=北京明日有雨，D=纽约明日有雨。则 A与B互信息量大， A与C互信息量小得多， A与D互信息量几乎为0， A与BC互信息量小。 三、 Shannon信息的概念 第五个重要概念：两个消息随机变量的互信息量。两个消息随机变量的互相关性越大，它们的互信息量就越大。（直观含义：这种信息量的大小代表了相互依赖性的大小） 例 X=西安明日平均气温, Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则 X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0。 事件A的信息量 随机变量X的信息量 两个事件A与B的互信息量 两个随机变量X与Y的互信息量 四种信息量 四、概率复习内容 记号 P(A)表示事件A发生的概率。P(A|B)表示在事件B发生的条件下，事件A发生的条件概率。EX表示随机变量X的数学期望。 离散型随机变量 离散型随机变量X的所有事件为{x1, x2, …, xK}，对应的概率为P(X=xk)=qk，k=1, 2, …, K。通常将此随机变量记为{X, xk, qk, k=1~K}。又X的分布列（分布矩阵）记为： 四、概率复习内容 另一个离散型随机变量Y的所有事件为{y1, y2, …, yJ}，对应的概率为P(Y=yj)=wj，j=1, 2, …, J。通常将此随机变量记为{Y, yj, wj, j=1~J}。又Y的分布列（分布矩阵）记为： 四、概率复习内容 两个离散型随机变