信息论编码第二章信息度量1.pptVIP

第二章 信息论的基本概念——信息的统计度量 引言——预备知识1信息的度量 信息的可度量性-建立信息论的基础； 信息度量的方法:结构度量﹑统计度量﹑语义度量﹑模糊度量等； 统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念； 熵概念是香农信息论最基本最重要的概念。 2单符号离散信源的数学模型 离散信源只涉及一个随机事件，可用离散随机变量来表示。 单符号离散的数学模型 X，Y，Z代表随机变量，指的是信源整体； 代表随机事件的某一结果或信源的某个元素。不可混淆! 3概率复习 4中学数学知识 Log(xy)=logx+logy Log(x/y)=logx-logy 2.1 自信息和条件自信息量 2.1.1自信息量 自信息量 自信息量I(ai)的性质 I(ai)是非负值； 当P(ai) =1时， I(ai)=0； 当P(ai) =0时， I(ai)= ∞ ； I(ai)是P(ai) 的单调递减函数 联合自信息量 信源模型(涉及两个随机事件) 联合自信息量 2.1.2条件自信息量 条件概率对数的负值 在特定条件下( 已定)随机事件 发生所带来的信息量 定义 联合自信息量和条件自信息量也满足非负和单调递减性。 关系 当X和Y独立时， 2.2互信息量和条件互信息量 信源发出消息 的概率 称为先验概率，信宿收到 后推测信源发出 的概率称为后验概率 。 定义 的后验概率与先验概率比值的对数为 对 的互信息量，用 表示，即 互信息量等于自信息量减去条件自信息量。 第三种表达方式： 互信息的性质 对称性 当X和Y相互独立时，互信息为0 互信息量可为正值或负值 条件互信息量 给定条件 下， 与 之间的互信息量，其定义式 课堂疑问? 某地二月份天气构成的信源为 现有人告诉你:“今天不是晴天。”，把这句话作为收到的消息 。当收到消息 后，各种天气发生的概率变成后验概率了。其中 计算 与各种天气之间的互信息量 2.3.2信源熵数学描述 信源熵 定义：信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时也称为无条件熵或熵函数，简称熵。 公式： 熵函数的自变量是X,表示信源整体，实质上是无记忆信源平均不确定度的度量。也是试验后平均信息量为熵 单位：以2为底，比特/符号 为什么要用熵这个词，与热熵的区别？ 信源熵和平均自信息量两者在数值上是相等的，但含义并不同。信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。熵作为信息的度量 小结：信源熵H(X)的三种物理含义 表示信源输出后，每个离散消息所提供的平均信息量。 表示信源输出前，信源的平均不确定度。 反映了变量X的随机性和无序性。 条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。 称条件熵H(Y/X)为噪声熵。 2.3.4联合熵（共熵） 联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。是二元随机变量不确定性的度量。 公式： * * Information I(ai) of ai must be function of ai’s uncertainty such as P(ai) It can be expression as I(ai) =f[P(ai)] How about I(ai) =P(ai) ? Not suit for 4 axiom If P(ai)?, ?; If P(ai)=0, I(ai)=∞; If P(ai)=1, I(ai)=0; If P(a1) and P(a2) are independent then I(a1a2)= I(a1)+ I(a2) 对于单个消息随机变量U，出现某个消息，对应概率为 ，这时可获得的信息量为 ，则有： 解释： 小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。 大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。 注：I－－自信息 举例2.12(6) 问题与思考 信息量 X2、x3、x4各1比特的信息量，也可以理解为y1使X2、x3、x4不确定度各