信息论与编码2new.pptVIP

1．凸集合与凸函数 简单介绍凸集和凸函数的概念。 定义2.1 是n维实矢量空间集合R中任意两个n维矢量， 对实数θ，0 ?θ? 1，有 θα+（1-θ）β ∈ R 则称R为凸集合。 2．2．2 熵函数的性质 图2－3 一维和二维凸集合的例子 凸集合 非凸集合 从几何上来看，若α、β是集合R中的任意两点，θα+（1-θ）β表示这两点间的连线，若该连线也在集合R中，则称R为凸集。下面给出了几个凸集和非凸集合的例子。 定义2.2 设f x f x1, x2, … , xn 为一个n元函数，若对任意f x1 , f x2 ∈ f x ，任意正数θ，0 ?θ? 1，有 θf x1 +（1-θ）f x2 ? f [θx1 +（1-θ）x2] 2-23 x 0 x1 θx1+ 1-θ x2 x2 图2-4 一元∩型凸函数 f x1 θf x1 + 1-θ f x2 f [θx1+ 1-θ x2] f x f x2 则称f x 为定义域上的∩型凸函数。 一元∩型凸函数可用图2-4所示的几何图形表示。 定义2.3 设f x f x1, x2, … , xn 为一个n元函数，若对任意f x1 , f x2 ∈ f x ，任意正数θ，0 ?θ? 1，有 f [θx1 +（1-θ）x2] ?θf x1 +（1-θ）f x2 2-24 图2-5 一元∪型凸函数 x1 θx1+ 1-θ x2 x2 x f x1 f [θx1+ 1-θ x2 θf x1 + 1-θ f x2 f x f x2 则称f x 为定义域上的∪型凸函数，一元∪型凸函数可用图2-5所示的几何图形表示。 2．极大离散熵定理 设信源的消息个数为M，则H X ? logM，等号当且仅当信源X中各消息等概 时成立，即各消息等概分布时，信源熵最大。 证明方法一：利用不等式log x ? x - 1 等号在x 1时成立（见图 2-6） 图2-6 logx ? x–1关系 曲线 x-1 log x 1 0 x 上面两种证明方法是信息论中 经常用到的证明方法 证明方法二：利用log x的∩型凸函数性质 H X -log M 3．熵函数的性质 （1）对称性 集合X x1，x2，…，xN 中的各元素x1，x2，…，xN任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。 例如 和 的熵是相等的。 （4）扩展性：离散事件集 ，增加一个 不可能事件xN+1后，得到集合： ， δ→0，则两个集合的熵相等。 （2）非负性：H X ? 0 （3）确定性：在集合X x1，x2，…，xN 中，若有一个 事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为 可算得： （5）可加性： 集合X x1，x2，…，xi，xi+1，…，xN 的概率分布为： 则下式成立： H X H x1，x2，…，xi，xi+1，…，xN （2-25） （6）条件熵小于等于无条件熵 即：H X︱Y ? H X X,Y 统计独立时等号成立。 证明：因为 H X | Y ?H X 所以 H X | Y ≤H X ， （即X,Y统计独立）时等号成立。 证毕 当 （7） 联合熵大于等于独立事件的熵，小于等于两独立事件熵之和，即： （2-26） H XY ? H X + H Y （2-27） 证明式（2-26）： 根据熵的非负性H Y | X ≥0，由式（2-21）得 H X Y H X + H Y | X ≥H X 同样有 H X Y H Y +H X | Y ≥H Y 证明式（2-27）： 根据熵的第6条性质，条件熵小于或等于无条件熵，有 H X Y H X + H Y | X ≤H X + H Y 证毕 2．3离散集的平均互信息量 如果将发送符号与接收符号看成两个不同的“信源”，可通过信道的转移概率来讨论信息的流通问题，一次通信从发送到接收究竟能得到多少信息量呢，这就是本节要讨论的平均互信息量。 1．平均互信息量 定义xi ∈X 和 yj ∈Y之间的互信息量为I xi ;yj ，在集合X上对I xi ;yj 进行概率加权统计平均，可得I X;yj 为： （2-28） 2．3．1 平均互信息量 当X,Y统计独立时，I xi ;yj 0，从而I X ; Y 0 再将式（2-28）对集合Y进行统计平均，就得到平均互信息量 【例2.14】二元等概信源 ， 通过信