第2章源与信息熵.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》 第2章 信源与信息熵 信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度 2.1信源的描述与分类 信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源 信源的基本特性是具有随机不确定性 2.1信源特性与分类 分类 时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源 2.1信源描述与分类 描述：通过概率空间描述 单符号离散信源 例如：对二进制数字与数据信源 2.1信源描述与分类 连续信源 2.1信源描述与分类 离散序列信源 以3位PCM信源为例 2.1信源描述与分类 当p=1/2 2.2离散信源熵与互信息 信息量 自信息量 联合自信息量 条件自信息量 单符号离散信源熵 符号熵 条件熵 联合熵 2.2离散信源熵与互信息 信息 不确定性的消除 信息的度量 随机性、概率 相互独立符合事件概率相乘、信息相加 熵 事件集的平均不确定性 2.2离散信源熵与互信息 直观推导信息测度 信息I应该