信息处理和 与编码第2章无失真信源和 与信息熵.ppt

无失真信源与信息熵;第二章 无失真信源与信息熵 ;§2-1 信源特性与分类 ;（二）信源的描述与分类 ;对于连续变量信源 ;这里需要进一步解释有两点： 首先，我们称仅对转移概率平稳的为齐次； 其次，当齐次马氏链满足不可约、非周期性条件时，称为遍历，它与起始条件分布无关。 在实际信源中，数字图像信源往往采用马氏链模型。 ;②连续信源 在实际的连续信源中，可以采用两种方法进行分析 一类是将连续信源离散化随机序列信源 另一类是仍然采用随机过程来分析 下面，首先要回答什么样的信源可以进行离散化处理？ 实际上，只要满足一个非常宽松的条件，即满足限时(T)、限频(F)的连续消息信源，即满足物理可实现条件下，均可离散化为随机序列。 ;2）实际信源 （续）;下面，我们给出三类最常用的展开式： ⅰ）付氏级数展开式—对限时(T)、限频(F)信号； ⅱ）取样函数展开式—对限频(F)、限时(T)信号； ⅲ）K-L展开式—展成线性无关或统计独立序列。 ;类似于周期性确知信号，在时域内可做下列付氏级数展开：当 时， ;常用的展开式 (续）：;则有 ;ⅲ）K-L展开（Karhunen-Loeve展开） 上述两类展开，在一般情况下其展开系数之间是统计关联的，即展开后的离散随机序列是有记忆的。这给进一步分析带来了一定的困难。能否在理论上寻找一类展开，展开后的随机序列是相互统计独立的，或者至少是线性无关的。满足这一要求的是K-L展开。 ;则 ;两边同乘 并在[a,b]内对t2积分，由归一性可得： ;常用的展开式 (续）：;可见，K-L展开主要优点在于展成的系数是线性无关的，且对正态是统计独立的，因此展开后可作为无记忆信源来处理。另外据分析它的收敛速度也比较快。但是可惜目前尚未找到它的快速收敛算法，另外在概念上又不像付氏展开、取样展开那样直观，所以在实际问题中很少应用，而是将它作为理论上最优变换的一个参考标准。 ;(三）实际信源举例 ;1）图像信源 （续）;电视信号还可以进一步划分为行内、行间、场间不同情况，其相应的相关函数与功率谱分布如下： ;对于数字型图像信号，可以采用马氏链模型 ;非参数描述： ①幅度概率分?? ;②短时相关函数 ;参数表示法 ;§2-2 离散信源的信息熵 ;对于单个消息信源U，发送某个消息 ，对应概率为 ，这时信源输出的信息量为I，则有： ;由对概率的递降性和可加性可以导出这类函数应是概率的对数函数： ;至此，我们从直观概念引入了信源输出的单个消息（符号）的非平均信息量的表达式。 ;同理可定义：; 信息熵H(U)是某个具体单个消息（ ）的非平均自信息量 的统计平均值，是描述信源统计的一个客观物理量。它首先是1948年仙农给出的，后来Feinstein等人又从数学上严格的证明了当信息满足对概率递降性和可加性条件下，上述信息熵的表达形式是唯一的。 ; 信息熵的单位与公式中的对数取底有关。通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为笛特（Det）。它们之间可以引用对数换底公式进行互换。比如： 1 bit = 0.693 Nat = 0.301 Det ;(二) 熵的数学性质 ;5可加性： ;;定理2-2-2：熵函数H(U)具有极值性，即 ;(二) 熵的数学性质 （续） ;(二) 熵的数学性质 （续） ;(二) 熵的数学性质 （续） ;(二) 熵的数学性质 （续） ;在[a,b]上定义的下凸 函数 ;在[a,b]上定义的上凸 函数 ;由上述凸函数性质，我们只需证明熵函数满足下列不等式。即熵函数为上凸函数。 ;（Jensen不等式） ;上一节，我们研究了单个消息（符号）的离散信源的熵，这一节我们将它推广至更加结合实际的离散序列。 ;一﹑离散无记忆信源的序列熵 与消息熵 ;一﹑离散无记忆信源的序列熵 与消息熵 ;而： ;有记忆必须引入条件熵，而且当序列长度足够长时分析起来更加困难。下面，我们从最简单的L=2，两个消息序列入手： 1 两个消息的联合熵与条件熵： ;则有如下定理： 定理2-3-1：由两个消息（符号）组成的联合信源有如下结论： ;同理： ;再证明②： ;推论：U1与U2相互独立时，显然有： ;证明： ;二﹑离散有记忆信源的序列熵 与 消息（符号）熵