信息熵计算论.pdf

第2章 信源与信息熵 第2章 信源与信息熵  信源的描述与分类  信源的描述与分类  离散信源熵和互信息  离散信源熵和互信息  离散序列信源熵  离散序列信源熵  连续信源熵和互信息  连续信源熵和互信息  冗余度  冗余度 普通高等教育“十五” 国家级规划教材《信息论与编码》 曹雪虹等编著 1 2.1信源的描述与分类 2.1信源的描述与分类  信源是产生消息（符号）、消息序列和连  信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源 机序列和随机过程的源  信源的基本特性是具有随机属性和概率统  信源的基本特性是具有随机属性和概率统 计特性 计特性 普通高等教育“十五” 国家级规划教材《信息论与编码》 曹雪虹等编著 2 2.1 信源的描述与分类 2.1 信源的描述与分类  分类  分类  时间 离散 连续  时间 离散 连续  幅度 离散 连续  幅度 离散 连续  记忆 有 无  记忆 有 无  三大类：  三大类：  单符号离散信源  单符号离散信源  符号序列信源（有记忆和无记忆）  符号序列信源（有记忆和无记忆）  连续信源  连续信源 普通高等教育“十五” 国家级规划教材《信息论与编码》 曹雪虹等编著 3 2.1 信源的描述与分类 2.1 信源的描述与分类  描述：通过概率空间描述  描述：通过概率空间描述  单符号离散信源  单符号离散信源 X  a a L a    1 2 n     p a p a p a P ( ) ( ) L ( )    1 2 n  n p (x ) 1 i  显然有p (x )0，  显然有p (x )0，