第6章 连续信源.pptVIP

宽广电信 本章主要内容 6.1连续信源的熵 6.2几种常见的连续信源的熵 6.3连续最大熵定理 §6.1 连续信源及其熵 1.连续信源的特征 2.连续信源的熵 6.1.1连续信源的特征 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 1.输出的消息数是无限的，每个可能的消息是随机过程{x(t)}的一个样本函数X(t)，时间取值和幅度取值无限。 2.可采用n维概率密度函数来描述 3.平稳性：不随时间平移而变化的过程 4.遍历性：时间平均=集平均 6.1.2连续信源的熵 问题：如何来求解？ 先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。 量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。 连续信源的表达方式： （用概率密度函数pX(x)来表示 ） 概率空间： 连续变量X就可用取值为xi的离散变量Xn来近似，连续信源变为离散信源 上式的第一项具有离散信源熵的形式，是定值，第二项为无穷大。 不考虑第二项无穷大项，因此,连续信源熵(也叫相对熵)定义为: 说明: 为什么连续信源的不确定度为无穷大? 虽然连续信源熵与离散信源熵具有相同的形式，但其意义不同。连续信源的不确定度应为无穷大，这是因为连续信源可以假设是一个不可数的无限多个幅度值的信源，需要无限多个二进制比特来表示，因而它的熵为无穷大(绝对熵)。但采用上式来定义连续信源的熵是因为在实际问题中，常遇到的是熵之间的差，如互信息量，只要两者逼近时所取的△一致，上式中第二项无穷大量是抵消的。 连续信源的熵由两部分组成：一部分为绝对熵，其值为无限大，用 h 0(x) 表示 ； 另一部为差熵或微分熵，用 h(X)表示。 差熵的单位：比特(奈特)/自由度 连续信源的条件熵也由两部分组成：一部分为绝对熵， 其值为无限大，用 h0(x/y)表示；另一部分为差熵，用h(X /Y)表示， 连续信源条件熵 连续信源联合熵 设X、Y为两个连续随机变量集合，它们的平均互信息定义为： I(X;Y)＝ ＝h(X)－h(X/Y) ＝h(X)＋h(Y)－h(XY) ＝h(Y)－h(Y/X) 连续信源平均互信息的性质 1）对称性，即 I (X; Y )= I (Y; X ) 2）非负性，即 I (X; Y )≧0 差熵的性质 1.与离散熵的类似性 1) 计算表达式类似 将离散概率变成概率密度 ，将离散求和变成积分。 2)熵的不增性： h (X)? h (X/Y) 3) 可加性 h(XY)＝h(X)＋h(Y/X)＝h(Y)＋h(X/Y) 设 N 维高斯随机变量 集合XN=X1X2…XN,则有 h(XN)= h (X1)+ h (X2/X1)+…h( XN/X1X2…XN-1) ? h (X1)+ h (X2)+…h( XN) 2．与离散熵的差别 1) 差熵实际上只是连续信源熵 的一部分，因此不能作为信源平均不确定性的量度； 2) 差熵不具有非负性； 3) 在一一对应变换的条件下，差熵可能发生变化。 6.2几种常见的信源熵 均匀分布 高斯分布 指数分布 差熵举例 已知: 求h(X) 解: = = = = 6.3最大熵定理 提出问题: 在连续信源中，当概率密度函数满足什么条件时才能使连续信源相对熵最大？ 1.峰值功率受限的最大相对熵定理: 对于定义域为有限的随机矢量X，当它是均匀分布时，其熵最大。 2.限平均功率最大相对熵定理: 对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大相对熵。 峰值功率受限的最大相对熵定理 对于定义域为有限的随机矢量X，当它是均匀分布时，其熵最大。 证明: 已知变量X的幅度取值限制在[a,b]，则 由， 有 ， 对于 由拉格郎日乘数法知 令 当任意 符合平均分布条件 时，信源达到最大熵。 限平均功率最大相对熵定理 对于相