第二章：信息论基本概念.ppt

本章的主要问题;§2.1 离散随机变量的熵; 信息无处不在，但：信息用什么表示？如何表示？; 如何度量信息？如何计算消息的信息量？ 某些消息比另外一些消息传递了更多的信息。 类似于火车运输货物多少用“货运量”衡量 消息信号传输信息多少用“信息量”衡量 概率论知识： 事件出现的可能性愈小，概率愈小； 该事件是否会出现的不确定性就愈大 事件出现的可能性愈大，概率愈大 该事件是否会出现的不确定性就愈小 信息量与消息出现的概率有关。;研究思路一： 自信息－－概率空间的平均自信息－－熵 研究思路二： 直接定义;分析信息的特征，信息量（消息）关系式应反映如下规律： （1） 信息量是概率的非负函数， 即  I=f［P(x)］  （2） P(x)越小， I越大； 反之， I越小， 且  P(x)→1时， I→0 P(x)→0时， I→∞  （3） 若干个互相独立事件构成的消息， 所含信息量等于各独立事件信息量之和，也就是说，信息具有相加性， 即  I［P(x1)P(x2)…］=I［P(x1)］+I［P(x2)］+… ;信息量的直观定义： 收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) 在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的此消息中所含有的信息量; 可以用泛函分析方法解得满足条件的函数形式为 用概率测度定义信息量： 设离散信源X，其概率空间为 如果知道事件xi已发生，则该事件所含有的自信息定义为 ; 自信息含义; 自信息的测度单位及其换算关系; 信息论中“比特”与 计算机术语中“比特”区别; 信源熵—平均信息量;熵（ Entropy）的直接引入;熵的引入;香农指出：存在熵函数 满足先验条件;可加性条件进一步说明：当随机变量的取值不是通过一次试验而是若干次试验确定取值时，随机变量在各次试验中的不确定性可加，且其和始终与通过一次试验取得结果的不确定程度相同。;熵的定义;熵的单位;熵H(X)--通过观测随机变量X所获得的平均信息量;§2.1.2 香农熵与热力学中热熵的关系;（不确定性）;;例2.2:;H(x2) － H(x3) =1 －－获得1bit信息量;熵的物理含义;熵的物理含义;例2.3 设某班学生在一次考试中获优（A）、良（B）、中（C）、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ ;§2.1.4 熵函数的性质;熵函数的性质－－非负性;熵函数的性质－－非负性;熵函数的性质－－上凸性;在[a,b]上定义的下凸函数;在[a,b]上定义的上凸函数;Jenson不等式;熵函数的性质—上凸性;熵函数的性质;例2.4：二元熵函数是对0－1分布的随机变量所求的熵：;p;例：2.5 P={0.5, 0.25, 0.25} Q={0.48, 0.32, 0.2} H(P)=H(Q)=1.5 bits 不同的概率分布熵可以相同 For 3 symbols: Hmax(P)=log 3 = 1.585 bits 进一步理解： 熵只与随机变量的总体结构有关，它表征随机变量的总体的平均不确定性。 局限性：不能描述时间本身的具体含义和主观价值 ;定理2.2 设离散随机变量的概密矩阵为 函数 是随机变量不确定性的量度，若此函数满足条件 连续性 等概时单调增函数性 可加性 则此函数必为 ;§2.1.5 联合熵与条件熵－条件熵;§2.1.5 联合熵与条件熵－联合熵;联合熵、条件熵的关系：;联合熵、条件熵的关系：;“相对”熵：;§2.2 离散随机变量的互信息（Mutual information）;;§2.2.1 互信息的定义-2;§2.2.1 互信息的定义-3;;§2.2.1 互信息的定义-4;§2.2.1 互信息的定义-5;变换得到互信息的另一种表达式：I（X;Y）是随机变量X的概率矢量p 和条件概率矩阵Q的函数;2;2;2