无失真信源与信息熵教学课件.pptVIP

“是月亮把我叫醒了。”“月亮困了，睁不开眼睛了。”?月的畅想作业：1、背诵课文。2、搜集并背诵写有关山（或水）的古诗，看谁背得多。3、写出自己对月亮的幻想第1章无失真信源与信息熵1.1信源特性与分类1.2离散信源的信息熵1.3离散序列信源的熵1.4互信息1.5冗余度1.6连续信源的熵与互信息1.1信源特性与分类1.1.1信源的统计特性 在信息论中，确切地说信源是产生消息(符号)、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。 其次，讨论信源的特性。客观信源的基本特性是具有随机不确定性。1.1.2信源的描述与分类 首先讨论离散单个消息(符号)信源。它是最简单的也是最基本的信源，是组成实际信源的最基本单元。 其次，讨论实际信源。实际信源不可能仅发送单个消息(符号)，对离散信源而言，发送的是一组消息(符号)串，即一个随机序列；对连续信源而言则是一随机过程。在实际问题中，连续的模拟信源往往可以采用两种方法进行分析。一类是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析；另一类则是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。3类最常用展开式：傅氏级数展开、取样函数展开及K-L展开。1.2离散信源的信息熵1.2.1信息熵和信息量的基本概念 1928年，信息论的先驱者之一哈特莱(Hartley)首先研究了具有Nm个组合的单个消息信源。他对这类非概率(实际是等概率)信源进行了研究，并给出了最早的信息度量公式：I=logNm=mlogN 若两个消息ui、uj出现不是独立的，而是有相互联系的，这时可引用条件概率来描述。若将在信源消息ui(或uj)已出现的条件下，消息uj(或ui)出现的条件概率表示为Pji(或Qij)，则其非平均自信息量I(Pji)(［或I(Qij)］)为：I(Pji)＝ ＝-logPjiI(Qij)＝ ＝-logQij1.2.2熵的数学性质 由熵的定义有： 它是消息概率pi的泛函数，即对数函数的统计加权函数。由概率的归一性，它仅有n-1个独立变量。 nH(U)＝H(p1，p2，…，pn)＝－∑pilogpi i=1 定理1-2-1：熵函数H(U)具有以下主要性质。(1)对称性(2)非负性(3)确定性(4)扩展性(5)递推性(6)可加性 在证明此定理以前，先简要讨论凸函数的基本概念。 首先从凸集合入手，对集合C?Rn(n维欧氏空间)，如果有：p∈C，q∈C，且对任意实数λ(0≤λ≤1)，有λp+(1-λ)q∈C，则称C为凸集合。 其次，简介凸函数概念。 设f(p)是由某个凸集C(C?Rn)上定义的实函数，对于任意实数λ(0≤λ≤1)，和任意矢量P∈C，q∈C，若满足：λf(P)+(1－λ)f(q)≥f［λP+(1－λ)q］ 在概率论中，当我们在讨论到函数的数学期望与数字期望的函数的关系时，往往可以引用Jensen不等式： 当f(x)为下凸函数时，有E［f(x)］≥f［E(x)］ 当f(x)为上凸函数时，有E［f(x)］≤f［E(x)］*1.2.3熵的公理化结构 若信源消息有n种，其概率为1/n，令H＝φ(n)。进一步，若信源由两个独立等概率分布消息所组成：一个取值n种，概率为1/n，另一个取值m种，概率1/m。 由可加性： H＝φ(m，n)＝φ(m)+φ(n) 更严格一些，当pi为无理数时，应加上扩展性条件，以保证有理数逼近无理数时概率pi的极限存在。即pi＝niε+δiε。1.3离散序列信源的熵1.3.1离散无记忆信源的序 列熵H(U)与消息熵HL(U)1.3.2离散有记忆信源的序 列熵H(U)与消息熵HL(U)1.4互信息1.4.1单个消息的互信息 定理1-4-1：互信息具有下列性质。(1)对称性(2)非负性(3)互信息不大于信源熵*1.4.2消息序列的互信息I(U;V)1.4.3信息不增性原理 信息不增性原理又称为信号数据处理定理，是信息处理中应遵守的最基本的原理。在信息处理中，经常要对所获得的数据信息进行进一步分类与归并处理，即需要将所接收到的有限数据空间(Y，q)归并为另一类处理后的有限数据空间(Z=D(Y)，p)。1.5冗余度 冗余度又称剩余度，它是表征信源信息率多余程度的一个物理量。冗余度描述的是信源的相对剩余，即在信源中多余分量所占的比重与百分比。 由此可见，