离散信源及信息的度量.doc

第2章 离散信源及信息的度量 主要内容 ◆ 信源的数学模型及其分类 ◆ 各类离散信源的信息度量 ◆ 熵及性质 2.1 信源的数学模型及分类 2.1.1 信源输出的消息由随机变量描述 其中R表示实数集（–∞，∞），而是随机变量X的概率密度函数。 2.1.2 信源输出的消息由随机矢量描述 这种信源不能简单地用一维随机变量来描述信源，而应用N维随机矢量来描述。这N维随机矢量有时也称为随机序列。 若信源输出的随机序列中，每个随机变量（i=1，2，…，N）都 在N维随机矢量中，若每个随机变量(i=1，2，…，N)?都是离散的，则可用N重离散概率空间来描述这类信源。若N维随机矢量中每个变量的取值为 则信源的N重概率空间为 这个空间共有元素个。 其中可取1，2，…，q，即N维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示。这种信源称为离散无记忆信源。 定义2.4 若连续信源输出的消息是由一系列符号所组成的，这样的信源称为多维的连续信源，也可用N维随机矢量来描述。 若信源输出的N维随机矢量中，每个随机变量(i=1, 2, …, N)?都是取值为连续的连续型随机变量，即每个随机变量的可能取值是不可数的无限值。而且随机矢量的各维概率密度函数都与时间起点无关，也就是说，在任意两个不同时刻随机矢量的各维概率密度函数都相同，这样的信源称为连续平稳信源。这种信源在时间上是离散的，但每个随机变量的取值都是连续的。 2.1.3 信源输出的消息由随机过程描述 更一般地来说，实际信源的输出常常是时间的连续函数，并且它们的取值又是连续的和随机的，这样的信源称为随机波形信源，可用随机过程来描述，例如语言信号、电视图像等。 2.2 离散信源的信息量 2.2.1 非平均不确定性 其中 满足 则可进行如下定义（符号“”表示其物理含义）： 事件出现的先验不确定性。 事件同时出现的先验不确定性。 观察到后关于出现的后验不确定性。 观察到后关于出现的后验不确定性。 2.2.2 非平均信息量 式中是事件发生的先验概率，而表示事件发生所含有的自信息量。 根据客观事实和人们的习惯概念，函数应满足以下条件： 应是先验概率的单调递减函数。越大，越小；越小，越大。 当=1时，=0。 当=0时，=(。 出现后收到关于的信息量，称之为的自信息量，也称为自信息。代表两种含义。当事件发生以前，表示事件发生的不确定性；当事件发生以后，表示事件所含有（或所提供）的信息量。 同时出现后收到关于的信息量。 （关于的先验不确定性）–（观察到后对保留的不确定性）观察到后收到关于的信息量（关于无知程度）–（观察后最终对保留的无知程度）给定后关于不确定性减少的程度，称之为互信息量，也称为互信息。当，即事件的发生有助于事件的出现时，；而当，即事件的发生使事件出现的可能性小时，。 观察到后关于出现的后验不确定性在已知的条件下所含的信息量，称之为条件自信息量； 观察到后关于出现的后验不确定性在已知的条件下所含的信息量。 根据上面的分析，可得到两个可加性公理： 公理1：当两个独立消息出现时，收到的信息量等于两个消息分别出现的信息量之和，即。 公理2：对同一条消息，观察两次所得到的信息量等于两次分别收到的信息量之和，即。 ?比特 ?比特 ?次 求： （1）自信息量。 （2）条件自信息量。 （3）互信息量。 解：（1）根据自信息量的定义可得 ?比特 ?比特 （2）由全概率公式，可得 其中 于是可求出 根据条件自信息量的定义可得 （3）根据互信息量的定义可得 2.2.3 平均信息量 r进制单位/符号 ——表示摸出的是红球。 ——表示摸出的是蓝球。 若被告知摸出的是红球，那么获得的信息量为 ?比特 若被告知摸出的是蓝球，那么获得的信息量为 ?比特 若每次摸出一个球后又放回去，再进行第二次摸取。那么摸取次后，红球出现的次数为次，蓝球出现的次数约为次。则摸取次后总共所获得的信息量为 这样，平均摸取一次所能获得的信息量约为 ， ??比特/符号 ??比特/符号 和 和是 其中 满足 定义2.6 在联合集XY上，把条件自信息量的概率加权平均值定义为条件熵。其定义式为 后，对 解：由全概率公式，可得 再由（i，j=1,2），求出 同理可得 根据条件熵的计算表达式可得 （，），（，）， ?比特/符号 ? ???? 由此可得 同样可以计算 以及 ?比特/符号 ?比特/符号 ?比特/符号 因此有 所以 ?比特/符号 而等式右边为 表2.1 各类熵之间的关系 名称 符号 关系 图示 信 息 熵 H(X) H(X)=H(X/Y)+I(X;Y) ≥H(X/Y) H(X)=H(XY)?–?H(Y/X) H(Y) H(Y)=H(Y/X)+I(X;Y) ≥H(