分析化学1.1课件.pptVIP

§1.1 自信息 第一章 随机变量的信息度量 §1.2 熵 联合熵 条件熵 §1.3 相对熵和互信息 §1.4 信息量的一些基本性质 * 离散信源 信源输出的消息是以取值离散的符号形式出现,其不同符号数可以是有限个,或可列无限个 连续信源 信源输出的消息的取值是连续的,可取不可列无限多个值 信源 消息的来源 * 离散信源通常用一个随机变量 表示， 的可能取值，即信源可能输出的不同符号用集合?表示 问题: 怎么来度量? 的自信息，记为 大小称为 当信源发出某个信号 时，它所提供的信息的 ? * 首先看一个例子: 设一袋中有100个球,其中80个红球,20个白球,现任取一球,猜测其颜色.下面有两个消息: A 摸出的是红球. B 摸出的是白球. 问 你从哪条消息中所获得的信息量更大？ * 从上例可知,随机事件所含信息的大小与其发生的概率密切相关: 随机事件的不确定性越大,即发生的概率越小,则它的发生所提供的信息越大,反之亦然. 可见,随机事件的自信息应是其概率的函数. * 自信息应满足的几条公理: 2) 若 3) 4) 严格单调性: 5) 如果 1) 非负性: * 引理 1.1.2 如果实函数 满足: 定理1.1.1 若自信息 满足上述5个条件,则 其中 为常数. * 定义1.1.1 ?