信源模型及信息的度量(p-1补充)-2015.docxVIP

信源模型及信息的度量 ?1.1 信源模型及分类 ?1.2 不确定性与信息量 ?1.3 平均信息量 ?1.4 消息序列的熵 ?1.5 连续信源的信息度量 ?1.6 信源的相关性和剩余度 §1.1 信源模型及分类 什么是信源？ ?在信息论中，信源是产生消息（符号）、消息序列以及连续消息的来源； ?数学上，信源是产生随机变量X、随机序列X和随机过程X(t,ω)的源。 信源的主要特性 信源的最基本的特性是具有统计不确定性，一般用概率空间来描述信源。 一个样本空间和它的概率测度统称为概率空间 ?X ? ? a1, a2 ,, aq ? N ? ?Pn ?1 ?P(x)? ?P(a ), P(a ),, P(a )? 1 ? ? ? 1 2 q ? 例： ? ? ? ? a1 ? ? ? ? ?P(?)? ?0.01 ? ? ? ? b ? ? ? ? 1 ?P(?)? ?0.4  a2 ? ? b2 ? ?  ? ? ? ? c c ? ? ? ? ? 1 2 ? ?P(?)? ?0.5 0.5? 当信源给定，其相应的概率空间就已给定； 反之，如果概率空间给定，表示相应的信源给定。 概率空间能表征离散信源的统计特性！ 信源的分类 单符号信源 离散信源 有记忆信源 多符号信源 连续信源 无记忆信源 单符号信源： 一个符号代表一个完整的消息 多符号信源： 多个符号代表一个完整的消息 离散信源 输出的符号集的取值是有限的或可数的 ?X ? ? a , a , , aq ? q ? p(ai ) ? 1 ? ? ? ? 1 2 , ? ?P(x)? ?P(a1 ), P(a2 ), P(aq )? i?1 连续信源 输出的符号集的取值是不可数的无限值， 即输出消息的取值是连续的 X ? ?(a,b)? ??P(x)?? ? ?? p(x) ?? ?b p(x)dx ?1 a  或 ?X ? ?R ? ? ? ? ? ? ?P(x)? ? p(x)? ?R p(x)dx ?1 离散无记忆信源 信源在不同时刻输出的符号先后之间是无依赖的，彼此统计独立 p(x j xi ) ? p(xi ) p(x j / xi ) p(x j / xi ) ? p(x j ) 离散有记忆信源 信源在不同时刻输出的符号先后之间是相互依赖的 二元联合信源 有两个信源X，Y ?X ? ? a , ? ? ? ? 1 ?P(x)? ?P(a1 ), b , Y ? ? ? ? 1 ?P( y)? ?P(b1 ),  a2 , , an ? P(a2 ), , P(an )?? b2 , , bm ? P(b2 ), , P(bm )?? 两个信源的联合概率空间 ? XY ? ? a , b , a , b , , a , b , a , b , , a , b ? ? ? ? ? 1 1 21 n1 12 , n m ? ? P ( x, y) ? ? P ( a1 , b1 ), P ( a2 , b1 ), , p ( an , b1 ), p ( a1 , b2 ), P ( an , bm )? XY——样本值共有 m ? n 个 p ( xi , y j ) ? p ( y j ) p ( xi / y j ) ? p ( xi ) p ( y j / xi ) 当X，Y相互独立时 p( y j ) ? p( y j / xi ) p(x j ) ? p(x j / yi ) p ( xi , y j ) ? p ( y j ) p ( xi ) §1.2 不确定性与信息量 自信息量 联合信息量 条件信息量 互信息量 自信息量 给定信源X的概率空间 ? X ? ? a a ... a ? ? ? ? ? 1 2 ... r ? ? p ( x)? ? p ( a1 ) p ( a2 ) p ( ar )? 事件ai∈X的自信息量定义为： I ( ai ) ? ? log p ( ai ) ? log 1 p ( ai ) 自信息的含义包含两方面： 事件发生前 ?事件发生的不确定性事件发生后?事件包含的信息量 自信息量是该符号出现后提供给接收者的信息量。此外，它还能表示信源符号的先验不确定性。 对于给定信源，每个符号具有一个先验概率，在信源符号发出之前存在不确定性。 符号的不确定性在数量上等于它的自信息量，但两者含义不一样。 先验不确定性是信源符号固有的，而自信息量是信源发出后该符号为接收者提供的信息量，是接收者为了消除该符号不确定性而需要获得的信息量。 联合自信息量 对于X，Y构成的联合空间，共有n×m种取值组合，联合概率空间可以表示为 ? XY ? ? ( a , b ) ( a , b ) ... ( a , b