[数学]信息论基础1.pptVIP

信息论基础 鲁坚 jianlu@szu.edu.cn 科技楼415 1.3 相对熵和互信息 1.4. 信息量的一些基本性质 * （2）当 时 （3）当 时 （4）两个独立事件的联合信息量应等于它们分别的信息量之和：若 (1) 应是先验概率的严格单调递减函数，即当 时 根据上述条件可以从数学上证明这种函数形式是对数函数，即： 有两个含义： 1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，标是该事件所提供的信息量． 自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位 例：设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用 来表示晴天，以 来表示雨天，则我们的信源模型如下： 离散信源的信息熵 我们定义自信息的数学期望为信源的平均信息量 信息熵具有以下两种物理含义： 1、表示信源输出前信源的平均不确定性 2、表示信源输出后，每个符号所携带的平均信息量 2、信息熵 例：天气预报，有两个信源 则： 说明第二个信源的平均不确定性更大一些 信息熵的基本性质 熵函数可以表示为： 性质1：非负性 H(X)≥0且等号成立的充要条件是X有退化分布。 由于0≤pi≤1,所以logpi≤0， logpi≥0，则总有H(X)≥0。 性质2：对称性 根据加法交换律可以证明，当变量交换顺序时熵函数的值不变。 信源的熵只与概率空间的总体结构有关，而与个概率分量对应的状态顺序无关； 性质3：确定性； 当信源X的信源空间[X，P]中。任一个概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。 如果一个信源的输出符号几乎必然为某一状态，那么这个信源没有不确定性，信源输出符号后不提供任何信息量。 性质4：扩展性 这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重，使信源熵保持不变。 性质5 ：极值性 上式表明，对于具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值，这也表明等概分布的信源的平均不确定性最大，这是一个很重要得结论，称为最大离散熵定理 例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bit 离散二元信源的信息熵 *