第二章 信源和信息熵.ppt

第二章 信源和信息熵 2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 离散平稳信源的熵 2.4 连续信源的熵 2.1 信源的数学模型及分类 通信系统模型及信息传输模型： ? （2）信源发出的符号间彼此是否独立： 无记忆信源：随机矢量的各分量相互独立 有记忆信源：随机矢量的各分量不相互独立 表述有记忆信源比无记忆信源困难的多，实际中，信 源发出的符号往往只与前若干符号的依赖关系强，与 更前面的符号依赖关系弱，这类信源可用马尔可夫信 源表示。 不同统计特性的信源可用随机变量、随机矢量以及随 机过程描述其输出的消息。 2.2 离散信源的信息熵 一、信息量和熵 信息的度量应符合实际情况： 出现概率小的随机事件，不确定性大，信息量大； 出现概率大的随机事件，不确定性小，信息量小； 概率为1的确定事件，信息量为0。 香农定义的自信息量I(x)：任意随机事件出现概率的对数的负值表示自信息量。 例解： 测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit 第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡 自信息I是一个随机变量，不能作为信源总体的信息量。 定义：自信息量的数学期望为信源的平均信息量，即信 源的信息熵，数学表示为： 信息熵的单位取决于对数选取的底，r进制信息熵： r进制信息熵与二进制信息熵的关系： 例如，有两个信源： 则：H（X）=0.08比特/符号 H（Y）=1比特/符号 显然，信源X输出消息x1的可能性是99%，所以对X 的平均不确定性较小；而信源Y输出y1、y2的可能性 均为0.5，则我们对Y输出哪一个消息的平均不确定性 较大。 熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身。 5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性： H(p1,p2, ‥,pq) ≤－∑pilogqi，当qi＝1/q时， 可见：所有概率分布pi所构成的熵，以等概时为最大， 称为最大离散熵定理。 例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。 可见：熵函数的递增性也可称为递推性，表示n 个元素的信源熵可以递推成（n－1）个二元信 源的熵函数的加权和。可使多元信源的熵函数 计算简化成计算若干个二元信源的熵函数。 2.3 离散平稳信源的熵 离散平稳信源：各维联合概率分布均与时间起点无关 的完全平稳信源称为离散平稳信源。 一、联合事件的熵和互信息 设两个随机变量X1和X2，单个符号数学模型为： 联合事件的概率空间： 条件概率分布： 二个符号的数学模型： 联合熵： 联合熵（共熵）：是联合空间X1X2上的每个元素对 X1X2的自信息量的概率加权平均值。共熵表示信源输 出长度为2的序列的平均不确定性，或所含的信息量。 条件熵：联合空间X1X2上的条件自信息量的概率加权 平均值： 联合熵、信息熵及条件熵的关系为： ＝H（X2）＋H（X1/X2） 根据熵的极值性可得： 表明某一变量的条件熵必小于或等于它的无条件熵。 还可得： 且X1、X2独立时，上式等号成立。 定义无条件熵和条件熵之差为互信息： I(X1;X2)＝H(X1)－H(X1/X2) ≥0 ＝H(X1)＋H(X2)－H(X1X2) 且：I(X1;X2)＝I(X2;X1) 注意：任何无源处理总是丢失信息的，至多保持原来的信息，这是信息不可增性的一种表现。 二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵： 定义序列的平均符号熵＝总和/序列长度，即： 平均符号熵就是信源符号序列中平均每个信源符号所携带的信息量。 条件熵≤无条件熵；条件较多的熵≤条件较少的熵，所以： 离 散 平 稳 信 源