2.第一章 信息的度量(9.15).pptVIP

第二章 信息与信息资源 任课老师： 第三节 信息的度量 本质：对信息在社会各系统传输中时间和空间特征、质量和数量特征的定量化描述。 分类：基于数据量的信息度量、基于概率的信息度量、基于经验的信息度量 基础：基于数据量的信息度量。 基于数据量的信息度量 常用信息度量方法：按反映信息内容的数据所占用的计算机存储装置的存储空间大小来衡量信息的大小。 二进制：0和1 信息在计算机中的表示 （1）数值信息 （2）字符信息 （3）图形图像信息 （4）视频信息 （5）音频信息 数值信息 数值用二进制代码表示：定点数和浮点数 定点数：小数点的位置不变（整数、纯小数） 浮点数：小数点的位置不固定，既有整数部分又有小数部分的数。 字符信息 字符信息需要进行编码，建立0和1之间的对应关系，才能实现识别、存储和处理。 西文字符使用ASCII码，共128个字符。 汉字字符使用国标码：GB2312-80 图形图像信息 矢量图：基于矢量技术的图形，以图元为单位，用数学方法来描述。 位图：点阵的集合，每一个点就是一个像素。 视频信息 多帧图像 压缩算法 音频信息 音频----》数字信号 信息存储的数据单位 最小存储单位：一位二进制数，称为bit（比特） 基本单位：八位二进制数，称为byte（字节，B） 数据处理单位：一次存取、加工和传送的数据长度为字（word） 字长：8位、16位、32位、64位 基于概率的信息度量 其中： 代表信息量； 代表对某事件的疑问； 代表不确定性； 为收到消息前关于 的知识； 为收到消息后关于 的知识。 不确定性的量的表述 信息熵：是从信源角度考虑，标志信源整体的不确定性程度的量。 信息量：是从信宿角度考虑，是信宿接收信息后消除不确定性的量。 熵的定义 关于熵的几点说明 熵的性质 (3)非负性 (4) 强可加性 “强可加性”证明 (5) 可加性 “可加性”证明 （6）渐化性 （7）凸状性 （8）极值性 信息论不等式 香农不等式 “极值性”证明 例 三元熵 信息量的测度 信息量是实得信息的量度，是先验信息和后验信息之差。 H1（X）：信宿在接收到信源所发出的信息之前，事先了解到的关于随机事件的不确定性。 H2（X）：信宿在接收到信源所发出的信息之后，所产生的关于随机事件的不确定性。 H（X）：实得信息 H（X）= H1（X）- H2（X）： * * 申农：用概率的对数来度量消息中所包含的信息量。 概率是用来表示随机事件发生可能性大小的一个量。 信息量定义：两次不确定性之差 DMS ： 的（先验）不确定性 ，也称为 的自信息量 。 统计平均 熵 熵 的物理意义:信源 的平均不确定性。 熵公式： （1）熵公式中， 只是一个记号，代表 的熵，不能把 看作函数的自变量。 （2）熵函数的自变量是先验概率 ： 是K-1元函数。 （3）熵的单位与自信息量的单位相同，与熵公式中所用对数的底有关。 （4） ，规定“0log0=0”。因为 (1)对称性： 其中 是 的任意置换。 (2)可扩展性：加入零概率事件不会改变熵。 熵公式： 确定性概率分布 熵公式： 定义新函数： 则 于是 “可加性”是“强可加性”的特殊情况，在“强可加性”中，令 就可得出可加性。 令 则 强可加性： 证明方法：利用熵公式，将右式展开再合并 。 说明：概率分布越均匀，熵越大。 是上凸函数。 例 （二元信源的熵)设二元信源的概率空间为 则熵为 二元熵图示 记等概率分布为 则 二元熵图示 K=2时，熵的图形 定理2.1 (信息论不等式)对于任意实数 ，有不等式： 当且仅当 时，等式成立。 -1 0 z ln(z) z -1 1 图示 切线 证明: 当且仅当 时等式成立。 极值性: 香农不等式: 在香农不等式中，令 ，则有 设三元信源为: 根据熵公式,有 三元熵图示