第1章单符号离散信源.pptVIP

第1章 单符号离散信源 内容提要 1.1 信源的数学模型 1.2 信源符号的自信息量 1.3 信源的信息熵 1.3.2 熵函数的数学性质 随机变量集X的熵H(X)只是其概率分布 的函数，所以熵函数H(X)又记为 由于概率的完备性， ，所以H(P)实际上是（q-1）元函数。如二元熵，则 引理1.3.1 若f(x)是定义在区间[a,b]上的实值连续上凸函数，则对于任意一组 和任意一组非负实数 满足 有 通常称为詹森（Jenson）不等式。当 为一个离散无记忆信源的信源符号， 为相应的概率时，显然满足引理的条件。 若取f(.)为对数函数，不等式可写为 或对于一般的上凸函数 （1）对称性　 当概率矢量P=(p1, p2, …pq)中的q个分量的次序任意变更时，熵值不变。 物理意义： 熵仅与信源总体的统计特性有关(总体性)。 如果某些信源总体的统计特性相同，不管其内部结构如何，这些信源的熵值相同。 例1.3.3 设A、B两地的天气情况分别为如表所列。 晴 多云 雨 冰雹 A 1/2 1/4 1/8 1/8 B 1/2 1/8 1/8 1/4 比较H(A)和H(B) 解：A，B两地天气情况的平均不确定性为 H(A)=H(B)= 信息熵未能反映事件本身的具体含义和主观价值。因此人们引出了加权熵的概念。 在加权熵中对不同的元素给予不同权重，从而可以反映不同事件的主观价值。 （2）非负性 等号成立的充要条件： 当且仅当集合X中某元素xi 的发生概率pi =1，其余pk =0 (k≠i)，即确定概率场的熵值最小。 证明：因为 中每一项非负，所以 (3) 确定性 物理意义： (1)集合X中只要有一个事件为必然事件，则其余事件为不可能事件。 (2)此时，集合X中每个事件对熵的贡献都为零，因而熵必为零。 (3)此时信源X为确定信源，不能从中获得任何信息。 （4）连续性 表明： 信源空间中概率分量的微小波动，不会引起信源总体信息熵的巨大变化。 （5）扩展性 证明：因为 故上式成立 表明： 若集合X有q个事件，另一集合X‘有q+1个事件，但X’和集X的差别只是多了一个概率近于零的事件，则两个集的熵值一样。 推广：信源空间中增加某些概率很小（接近于零）的信源符号，总的信息熵维持不变。 （6）可加性 　 当两个随机变量X,Y是相互独立的，则 表明：由两个相互统计独立的信源X和Y构成的联合信源(XY)的信息熵，等于信源X和Y各自信息熵之和。 （6）可加性（续） 　 如果有两个随机变量X,Y，他们不是相互独立的，则二维随机变量(X,Y)的熵等于X的无条件熵加上当X已给定时Y的条件概率定义的熵的统计平均值，即 （7）递推性 　 设信源X的信源空间为, 则 推广表明：若把具有q种符号的信源中m种符号归并为一种符号，则其信息熵减小。其减小量，等于被归并的m个符号对应的m个概率分量之和，与这m个概率分量的归一化值构成的完备的概率空间的熵函数的乘积。 (8) 极值性 特别地 式中，r 是集合的元素数目。 表明：符号种数为r的信源X的熵函数，一定不大于符号种数同样是r的另一信源中每一符号的自信息量，在信源X的概率空间中的统计平均值，即熵函数存在最大值。 （9）上凸性 是概率分布 的严格上凸函数。 1.3.3 条件熵（Conditional Entropy） 定义 1.3.3 联合集XY上，条件自信息量I(yj|xi)的概率加权平均值定义为条件熵。 定义式为H(Y|X) 称为联合集XY中，集Y