信息论及编码-第4讲-第2章信源及信息度量(修改最新).ppt

证明： 在给定 y j 条件下，x i 的条件自信息量为： I(x i | yj)=－log p(xi | yj) 集合X的条件熵为： 在给定Y（即各个yj）条件下，集合X的条件熵定义为 例：已知信源X取自符号集{a1=0，a2=1}，信源Y取自符号集{b1=0，b2=1}，联合集合{X，Y}的联合概率密度为 解 由全概率公式 p(a1|b2)=0.75 p(a2|b1)=0.75 p(a2|b2)=0.25 根据条件熵的计算表达式可得 从图中可以得出熵函数的一些性质： 1) 如果二进制信源的输出是确定的(p=1)，则该信源不提供任何信息； 2) 当二进制信源符号0和1等概率发生时，信源的熵达到最大值，等于1比特信息 3) 二元数字是二进制信源的输出。在具有等概率的二进制信源输出的二进制数字序列中，每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量总是小于1比特。这也进一步说明了“二元数字”（计算机术语称“比特”）与信息量单位“比特”的关系。 (4) 扩展性 由对数函数的性质知道 证明 根据定义 而显然第二项而第一项 由于归纳起来 本性质说明，信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。 虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。 (5) 确定性 H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0, …,0)=0 在概率矢量P(X)=[p(x1),p(x2),…,p(xn)]中 当p(xi)=1时，-p(xi)log2p(xi)=0；其余变量p(xj)=0(j≠i)， 只要信源符号表中有一个符号出现概率为1，信源熵就等于0。在概率空间中，如果有两个基本事实，其中一个是必然事件，另一个则是不可能事件，因此没有不确定性，熵必为0。当然可以类推到n个基本事件构成的概率空间。 (6) 可加性 H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y) 证明第一个式子： 可加性 是熵函数的一个重要特性，正因为具有可加性，所以可以证明熵函数的形式是唯一的，不可能有其它形式存在。 信息论与编码理论基础 第4讲 信息熵及熵的基本性质 主讲 刘 巧 平 延安大学物电学院 本讲主要内容： 1、信源熵 2、条件熵 3、联合熵 4、熵的基本性质和定理 本讲重点： 1、掌握信息熵的物理含义及数学表达式 2、熟悉条件熵和联合熵的定义 3、掌握信息熵的基本性质及定理 本讲难点： 信息熵的定义及熵的基本性质及定理 1 信源熵 1） 信源熵—平均信息量 2） 信源熵的三种物理含义 1） 信源熵—平均信息量 自信息是一个随机变量：自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。 平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/信源熵/香农熵/无条件熵/熵函数/熵。 信息熵的数学表达式： 　为了求得整个信源所提供的平均信息量，首先，我们应当了解数学中有关三种不同类型的平均方法以及它们各自的计算公式。这三种平均方法分别是算术平均、统计平均和几何平均。 (2-8)  式中，Pi=Ni/N(i=1，2，…，r)为对应的随机变量xi出现的概率(或称为频数)。即 (2-9) (2-10)  根据有关统计平均的定义，可求得信源X自信息量的统计平均值，我们把这个统计平均值记为H(X),即 (2-9) (2-10) 信息熵的数学表达式 信息熵的单位：取决于对数选取的底。一般选用以2为底，其单位为比特/符号。 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 2） 信源熵的三种物理含义 信源熵