第2章 离散信源和其信息测度.pptVIP

随机变量x描述 信源输出的消息 收到某消息获得的信息量 ＝不确定性减少的量 ＝（收到此信息前关于某事件发生的不确定性） －（收到此信息后关于某事件发生的不确定性） 事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。概率等于1的必然事件，就不存在不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。 自信息的测度单位及其换算关系 如果取以2为底，则信息量单位称为比特(binary unit) 如果取以e为底，则信息量单位称为奈特(nature unit) 如果取以10为底，则信息量单位称为哈特(Hart unit,以纪念哈特莱首先提出用对数来度量消息) 1奈特＝1.44比特 1哈特＝3.32比特 一般都采用以“2”为底的对数，为了书写简洁，有时把底数2略去不写。 信息论中“比特”与 计算机术语中“比特”区别 如果p(xi)=1/2，则I(xi)=1比特。所以1比特信息量就是两个互不相容的等可能事件之一发生时所提供的信息量。 信息论中“比特”是指抽象的信息量单位； 计算机术语中“比特”是代表二元数字； 这两种定义之间的关系是：每个二元数字所能提供的最大平均信息量为1比特。 联合自信息量 信源模型为 其中0≤p(xiyj)≤1 (i=1,2,…,n; j=1,2, …,m) 则联合自信息量为 当X和Y相互独立时，p(xiyj)=p(xi)p(yj) 两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。 条件自信息量 设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自信息量I(xi/yj)定义为 表示在特定条件下（yj已定）随机事件xi 所带来的信息量 同理，xi已知时发生yj的条件自信息量为 自信息量、条件自信息量和联合自信息量之间的关系 信息熵： 从平均意义上来表征信源的总体信息测度的一个量。 自信息： 指某一信源发出某一消息所含有的信息量。 所发出的消息不同,它们所含有的信息量也就不同。 自信息I (xi)是一个随机变量,不能用它来作为整个信源的信息测度。 信源熵与平均获得的信息量 信源熵是信源的平均不确定性的描述。在一般情况下它并不等于平均获得的信息量。只有在无噪情况下，接收者才能正确无误地接收到信源所发出的消息，消除了H(X)大小的平均不确定性，所以获得的平均信息量就等于H(X)。在一般情况下获得的信息量是两熵之差，并不是信源熵本身。 电视屏上约有 500 × 600= 3×105个格点，按每点有 10个不同的灰度等级考虑，则共能组成 个不同的画面。每个画面出现按等概率 计算，平均每个画面可提供的信息量为 有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000 篇，按等概率1/100001000计算，平均每篇千字文可提供的信息量为 H(X) ＝log2N ＝4 × 103 × 3.32 ≈ 1.3 × 104 比特/千字文 举 例 二进制信源是离散信源的一个特例。 设该信源符号只有二个：0和1 设符号输出的概率分别为p和1-p 信源的概率空间为 二进制信源的信息熵为 这时信息熵H(X)是p的函数。p取值于[0,1]区间，我们可以画出熵函数H(p)的曲线。 从图中可以得出熵函数的一些性质： 如果二进制信源的输出是确定的(p=1或/p=1)，则该信源不提供任何信息； 当二进制信源符号0和1等概率发生时，信源的熵达到最大值，等于1比特信息 二元数字是二进制信源的输出。在具有等概率的二进制信源输出的二进制数字序列中，每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量总是小于1比特。这也进一步说明了“二元数字”（计算机术语称“比特”）与信息量单位“比特”的关系。 上凸性的几何意义：在上凸函数的任两点之间画一条割线，函数总在割线的上方. 严格上凸函数在定义域内的极值必为最大值，这对求最大熵很有用。 多符号离散信源可用随机矢量/随机变量序列描述，即 X=X1,X2,X3，… 信源在不同时刻的随机变量Xi 和Xi+r 的概率分布P(Xi )和P( Xi+r )一般来说是不相同的，即随机变量的统计特性随着时间的推移而有所变化。 离散无记忆的扩展信源 基本概念： 假定随机变量序列的长度是有限的，信源序列的前后符号之间是统计独立的/符号之间是无相互依赖关系。则称这类信源为离散无记忆信源/离散无记忆信源的扩展。