信息论课件-信息的度量.pptVIP

递增性(递推性) 若原信源X中有一元素划分(或分割)成m个元素(符号),而这m个元素的概率之和等于原元素的概率,则新信源的熵增加。 定义 互信息量 是定量地研究信息流通问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一个具体消息 时，流经信道的信息量；此外 还是随 和 变化而变化的随机变量。 互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。 定义互信息量 在联合概率空间 中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。 2.1.4平均互信息量 平均互信息 克服了互信息量 的随机性，可作为信道中流通信息量的整体测度。 三种表达方式 平均互信息的物理意义 从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。此即“信息就是负熵” 平均互信息量的性质 对称性： 非负性： 极值性： 凸函数性 平均互信息量 是输入信源概率分布 的上凸函数，研究信道容量的理论基础。 平均互信息量 是输道转移概率 的下凸函数，研究信源的信息率失真函数的理论基础。 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 名称 符号 关 系 图 示 无 条 件 熵 条 件 熵 条 件 熵 联 合 熵 交 互 熵 2.1.5 各种熵之间的关系 2.2 多符号离散平稳信源 信源每次输出的不是一个单个的符号,而是一个符号序列。通常一个消息序列的每一位出现哪个符号都是随机的,而且一般前后符号之间的出现是有统计倚赖关系的,这种信源称之为多符号离散信源。 信源所发符号序列的概率分布与时间的起点无关，这种信源我们称之为多符号离散平稳信源。 2.2.1 序列信息的熵 如果有一个离散无记忆信源X，取值于集合 ，其输出消息序列可用一组组长度为N的序列来表示。即等效于一个新的信源。新信源每次输出的是长度为N的消息序列，用N维离散随机矢量来描述X= ，其中每个分量 都是随机变量，它们都取值于同一集合 ，且分量之间统计独立，则由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源。 离散无记忆信源X的N次扩展信源(或称序列信源)的熵就是离散信源X的熵的N倍。 理解 2.2.2 离散平稳信源的数学模型 对于随机变量序列 ，若任意两个不同时刻i和j,信源发出消息的概率分布完全相同，则称这种信源为一维平稳信源。 除上述条件外，如果联合概率分布也与时间起点无关，则称信源为二维平稳信源。这种信源在任何时刻发出两个符号的概率完全相同。 各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源。 例 求离散无记忆信源X的二次扩展信源。 2.2.3 离散平稳信源的信源熵和极限熵 N维离散平稳有记忆信源的熵 离散平稳信源有记忆信源的联合熵 表示平均发一个消息(由N个符号组成)所提供的信息量。从数学角度出发，信源平均发一个符号所提供的信息量应为 我们称 为平均符号熵，当 时，平均符号熵取极限值，称为极限熵或极限信息量，即  信息的度量 信息的度量 信息的可度量性——统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念； 信息测度——熵概念是香农信息论最基本最重要的概念。 2.1 信源的数学模型及分类 符号 符号表 符号串 2.1 信源的数学模型及分类 离散信源：可能输出的消息是有限的或可数的，每次只输出一个消息，即两两不相容。 数学模型： 连续信源：可能输出的消息数是无限的或不可数的，每次只输出一个消息。 数学模型： 有记忆信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。 无记忆信源：互相独立的随机变量。 独立同分布信源 离散平稳信源：输出的随机序列 中每个随机变量 取值是离散的，并且随机矢量X的各维概率