信息论 第二讲自信息和熵教学文稿.ppt

张焕国 武汉大学计算机学院 信 息 论 博士课程： 目 录 第一部分 密码 1、通信系统的数学模型 2、自信息和熵 3、互信息 4、信源编码 5、完善保密 6、唯一解距离 7、乘积密码 目 录 第二部分 纠错码 1、纠错编码的基本概念 2、线性分组码的基本理论 3、线性分组码在计算机系统中的应用 4、循环码的基本理论 5、典型循环码及应用 一、自信息和熵 1、信息 什么是信息？信息的本质是什么？这是人类长期思考的问题。 ①Information一词，在英、法、德、西班牙语中同字；在俄语和南斯拉夫语中同音，表明它在世界范围内使用的广泛性。 ②我国古人很早就知道信息的重要性，认为信息是可以寻觅、可以获取的。如: 在全唐诗中，检索“信息”，共检到46首诗。 唐诗人李中：“梦断美人沉信息，目穿长路倚楼台。” 宋女词人李清照：“不乞随珠与和璧，只乞乡关新信息。” ④关于信息的定义有十几种，举例如下： 商农：“信息是不确定性的消除量。” 控制论创始人维纳说：“信息就是信息，不是物质，也不是能量。” 意大利朗格：“信息是反映事物的形式、关系和差别的东西。信息包含于客体的差别中，而不在客体本身中。” 词源：“信息就是收信者事先不知道的报道。” 一、自信息和熵 2、自信息 文字、图象、声音是消息(Message)，信息(Informatin)是消息所含的有价值内容。 消息是载体,信息内涵! ①给定一个离散事件集合X，它含有N 个事件: X={x1,x2,…,xN } 事件xi 出现的概率记作pi，1≥pi≥0,且 。 注意：概率反映了不确定性！ ②自信息定义 定义2.1 事件xi的自信息，记作，定义为 非负性：自信息I(xi) ≥0。 这是因为1≥pi≥0,根据自信息的定义有I(xi) ≥0。 。 离散随机事件概率的对数值的绝对值。 一、自信息和熵 2、自信息 ④举例 例2.1 计算从英文字母表中任选一个字母时所给出的自信息量。 因为从26个字母中任取一个字母的概率为 ， 所以任选一个字母所给出的信息量为 例2.2 计算从二进制中任选一个字符时所给出的自信息量。 因为二进制只有0和1两个字符，设任取一个字符的概率为p=1/2，所以任选一个字符所给出的信息量为 I=-log2（1/2）=1比特 。 比特。 一、自信息和熵 3、熵 自信息描述了离散事件集X 中一个事件出现给出的信息量，整个集合X 的平均信息量是该集合所有事件自信息的统计平均值（数学期望），称作集合X 的熵。 定义2.2 集X 的熵，记作H(X)，定义为 因为pi可能等于0，而log0无意义，所以定义中，规定0log0=0。 H（X）度量了集合X 中各个事件未出现时所呈现的平均不确定性，也度量了集合X 中一个事件出现时所给出的平均信息量。 一、自信息和熵 3、熵 举例 例2.3 给出集合X={x1，x2，x3}，p1=1/2，p2=1/4，p3=1/4 按定义有: I(x1) = -log2 1/2=log2 2 =1比特， I（x2）=I（x3）=-log2 1/4=log2 4=2比特。 。 比特。 一、自信息和熵 3、熵 熵函数 由熵定义，熵H(X)是集合X 概率分布p1, p2…, pN 的函数。记P=(p1,p2,…,pN)，于是熵函数可写成： 由于1≥pi≥0，且 ，所以H(P)是N-1元函数。 一、自信息和熵 3、熵 熵的概念起源于热力学，它是度量分子不规则热运动的单位。即，用熵来度量热力学中的不确定性。用熵来表示系统的无组织或混乱程度，熵越大意味着系统越混乱无序，熵越小表示系统的组织程度越高。 商农的贡献在于：将热力学中的熵的概念应用到信息领域，并用概率分布的理论给出了信息的量。即，信息是以它对事物不确定性的减少或消除来度量。 。 一、自信息和熵 4、熵的数学性质 对称性 改变p1, p2…, pN 中各分量的位置，熵不变。 非负性 ≥0。 确定性 若pj=1，且i≠j 时pi=0 ，则H(X)=0。 一、自信息和熵 4、熵的数学性质 定义2.3 若区间（a,b）上的函数f(x)对任意的 ，和任意的 0≤λ≤1，都有 则称函数f(x)在(a,b)上是上凸的。 注意：在x1=x2，λ=0，λ=1时上式取等号成立。