信源与信息熵讲义.pptVIP

普通高等教育“十一五”国家级规划教材《信息论基础》 曹雪虹编著 第2章 信源与信息熵 信源的描述与分类 离散信源熵和互信息 离散序列信源的熵 连续信源的熵和互信息 冗余度 2.1信源的描述与分类 信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源 信源的基本特性是具有随机属性和概率统计特性 2.1 信源的描述与分类 分类 时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源 2.1 信源的描述与分类 描述：通过概率空间描述 单符号离散信源 显然有p(ai)?0， 例如：对二进制数字与数据信源 2.1 信源的描述与分类 连续信源 显然应满足pX(x) ?0， 2.1 信源的描述与分类 离散序列信源 以3位PCM信源为例 2.1 信源的描述与分类 当p=1/2 2.1信源的描述与分类 离散有记忆序列信源：当信源输出的随机矢量中各个分量之间不相互独立而可以是任意相关的,则称此类信源为有记忆信源。 布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是