[工学]第二章离散信息的度量.pptVIP

信 息 论 第2章 离散信息的度量 §2.1 自信息和条件自信息 本节包括以下内容： 自信息 联合自信息 条件自信息 本书符号约定：大写字母表示集合，小写字 母表示集合中的事件。设随机事件集合X中的随 机事件为x，即x ∈ X，且x取自一个有限符号集 合A={a1,a2,…,an}，x=ai的概率为PX(ai)；随机 事件集合Y中的随机事件为y，即y ∈ Y，且y取 自一个有限符号集合B={b1,b2,…,bm}，y=bj的 概率为PY(bj)；随机事件联合集合XY中的随机事 件为xy，即xy ∈ XY，且x与y分别取自符号集A 与B，x=ai和y=bj的联合概率为PXY(ai,bj)。 §2.1 自信息和条件自信息 2.1. 1 自信息 定义 事件集合X中的事件x =ai的自信息定义为： IX(ai)=-logPX(ai) (2.1.1a) 简记为 I(x) = -log p(x) (2.1.1b) 或 I(ai)= -log pi (2.1.1c) 注：1）