2015-第2章 离散信息的度量-2.1.pdfVIP

第2章 离散信息的度量 上章内容复习  通信系统模型：信源、编码器、信道、译码器、信宿  通信系统三项性能指标：传输的有效性、传输的可靠性、 传输的安全性  信息的三个基本层次：语法信息、语义信息、语用信息 ！注意：香农信息论所研究的信息为语法信息中的概率信息 本章知识结构 自信息 条件自信息 单个事件信息度量 联合自信息 互信息 条件互信息 离散信息的度量 熵 条件熵 事件集平均信息度量 联合熵 平均互信息 平均条件互信息 离散信息的度量 从概率的角度研究问题 • 自信息量 信息量的度量 •互信息量 •平均自信息量 消息之间相互提供 •平均互信息量 信息量的度量 本书符号的约定 随机事件x 概 率 随机变量X 论 与 x a 的概率P (a ) 随 i X i 机 联合概率P (a ,b ) 过 XY i j 程 §2.1 自信息和互信息 ★ 自信息 自信息 联合自信息 条件自信息