第一章绪论_信息论基础2015.pptVIP

信息是由物质和能量在时间和空间上的不均匀分布产生的。 信息是可以用文字、符号、数据、语言、音符、图片、图像等人类可感知的消息来表达的。 信息是无形的、可共享的、无限的、可度量的。 信息是事物运动状态或存在方式的不确定性的描述。 信息是与物质和能量一样重要的基本概念。 信息的定义 了解 信息：是事物运动状态或存在方式的不确定性的描述。 什么是不确定性？ 举例：电报“母病愈” 袋子里摸球 A：10红，10白；B：10红，20白 3. 香农信息的定义 理解 收到电报，消除了不确定性。 消除多少不确定性，就获得多少信息量。 不确定性就是随机性，具有不确定性的事件就是随机事件。 随机事件可以计算事件发生的概率 因此不确定性是可以度量的，于是信息是可以度量的。 天气预报广东下雪 4 香农信息的度量 理解 概率理论引用到信息论 1 样本空间 每一个消息是一个元素 2 概率测度 每一个消息指定一个概率 3 概率空间 先验概率 理解 随机事件的自信息量定义为该事件发生概率的对数的负值。 事件 的概率为 ，则它的自信息定义为： 代表两种含义：当事件发生以前， 等于事件发生的不确定性的大小；当事 件发生以后，表示事件所含有或所能提 供的信息量。 自信息量 4 自信息 掌握 5 互信息 一个事件 所给出关于另一个事件 的信息定义为互信息，用 表示。 互信息 是已知事件