信息论与编码 信源与信息熵2.ppt

* 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑷ ⑸ ⑹ * * * 本章小结 * 信源的描述 一个离散信源发出的各个符号消息的集合为： 它们的概率分别为 p(xi): xi的先验概率 单符号离散信源的数学模型—概率空间 a,b,c,…z * 00 01 11 10 状态转移概率矩阵 符号条件概率矩阵 (1)1/2 (1)3/4 (0)1/3 (0)1/4 (0)1/2 (0)1/5 (1)2/3 (1)4/5 s2 s1 s4 s3 马尔可夫信源 * 稳态分布概率 稳态后的符号概率分布 * 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ * 离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ * 自信息量 设离散信源X，其概率空间为 I (xi) 含义: 当事件xi发生以前,表示事件xi 发生的不确定性 当事件xi发生以后,表示事件xi所含有的信息量 * 自信息量 不确定度 定义： 随机事件(符号)的不确定度在数量上等于它的自信息量。 说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。 * 自信息量 I(xi)的特性： ⑴ I (xi)是非负值 ⑵ 当p(xi) = 1时，I(xi) = 0 ⑶ 当p(xi) = 0时，I(xi) =∞ ⑷ I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)＞p(x2)时，I (x1)＜I (x2) ⑸两个独立事件的联合信息量等于它们分别的信息量之和。 即统计独立信源的信息量等于它们分别的信息量之和。 * 自信息量 自信息量 条件自信息量 联合自信息量 * 离散信源熵 自信息量I(xi)只是表征信源中各个符号xi的不确定度，而一个信源总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信量就不同。 所以，自信息量I(xi)是与概率分布有关的一个随机变量，不能作为信源总体的信息量度。对这样的随机变量只能采取求平均的方法。 信息熵： 从平均意义上来表征信源的总体信息测度的一个量。 * 离散信源熵 离散信源熵H(X) 信源熵具有以下三种物理含意： 信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。 信息熵H(X)表示信源输出前,信源的平均不确定性。 信息熵H(X)反映了变量X的随机性 。 * 例2－7 该信源X输出符号只有两个,设为0和1输出符号发生的概率分别为p和q，p＋q=l。即信源的概率空间为 则二元信源熵为 H(X)= －plogp－qlogq = －plogp－ (1－ p)log(1－p) =H(p) * 信源信息熵H(X)是概率p的函数,通常用H(p)表示p取值于[0，1]区间。 H(p)函数曲线如图所示。 如果二元信源的输出符号是确定的,即p=1或q=1,则该信源不提供任何信息。当二元信源符号0和1以等概率发生时,信源熵达到极大值,等于1比特信息量。 * 信源熵 无条件熵 条件熵 在给定yj条件下，xi的条件自信息量为I(xi| yj), X 集合的条件熵H(X|yj)为 在给定Y(即各个yj )条件下,X集合的条件熵H(X|Y) * 信源熵 H(X,Y)＝H(X)＋H(Y|X) H(X,Y)＝H(Y)＋H(X|Y) 无条件熵、条件熵、联合熵之间的关系 联合熵 联合熵是联合符号集合(X,Y)上的每个元素对(xi,yj)的自信息量的概率加权统计平均值。表示X 和Y同时发生的不确定度。 * 互信息 互信息 定义为 xi的后验概率与先验概率比值的对数 互信息I(xi;yj)表示接收到某消息yj后获得的关于事件xi的信息量。 * 平均互信息 平均互信息定义 信息= 先验不确定性－后验不确定性 = 不确定性减少的量 Y未知,X 的不确定度为H(X) Y已知,X 的不确定度变为H(X |Y) * 维拉图 H(X|Y) H(X) H(Y) H(XY) H(Y|X) I(X;Y) * 条件熵 H(X|Y)：信道疑义度，损失熵 信源符号通过有噪信道传输后所引起的信息量的损失。 信源X的熵等于接收到的信息量加上损失掉的信息量。 H(Y|X)：噪声熵，散布熵 它反映了信道