第三章连续信源的信息熵.pptVIP

§3.5连续信源的最大熵定理这是一种变长码字：Variable-lengthCode利用算术平均法求出代码熵和利用集合平均所求的代码熵的结果比较：第29页，共64页，星期日，2025年，2月5日§3.5连续信源的最大熵定理当然也可直接求出发“1”的概率以及相应的条件概率：这里用p(00)表示信源发出事件“00”的出现概率，我们可以看到，只有事件“u0u0”，“u1u0”，“u2u0”出现时，才有事件“00”出现的可能性。但是P(00)的概率可以这样求吗？？因为ui和vn分别属于不同的概率空间，统计概率或概率间的互换应有一个参考点。同样在统计时序列的排列顺序也是应要求一致，在一个公共的尺度下互换才为可行。第30页，共64页，星期日，2025年，2月5日§3.5连续信源的最大熵定理第31页，共64页，星期日，2025年，2月5日§3.5连续信源的最大熵定理如果考虑发码顺序是从右向左的方向←，也同样能统计：第32页，共64页，星期日，2025年，2月5日在等概率的条件下，可使离散信源发送效率最大，这是最大熵定理在信号设计中的具体应用。这也是我们讨论连续信源的目的之一。第33页，共64页，星期日，2025年，2月5日§3.5连续信源的最大熵定理从相对熵的数学性质中已证明它有最大值，但是如果不考虑约束条件，在求极大值是将有可能走向极端，即求出它的无穷大量。为此这与离散熵所不同，相对熵拥有不同条件下的最大熵。Ⅰ.TheMaximumEntropyTheorematLimitedPeakCondition即限峰功率条件下的最大熵定理所谓限峰条件：所以限峰是指信号的幅度不能任意大，应属于有限的范围。第34页，共64页，星期日，2025年，2月5日§3.5连续信源的最大熵定理上式表明：在限峰的条件下，只有连续变量x处于均匀分布下，才能使相对熵达到最大，这就是限峰条件的最大熵定理及其证明。第35页，共64页，星期日，2025年，2月5日§3.5连续信源的最大熵定理约束条件改为平均功率(指信源的输出功率)受限，这实际上在均值为零的信号x来说，就是方差σ2受限。即：Ⅱ.TheMaximumEntropyTheorematLimited-in-meanPowerCondition.即限平均功率条件下的最大熵定理：第36页，共64页，星期日，2025年，2月5日§3.5连续信源的最大熵定理≤所以对于一维随机变量而言，在方差受限下则相对熵在概率密度为正态分布时达到最大值。这就是为什么说高斯噪声源是干扰最严重的噪声源。第37页，共64页，星期日，2025年，2月5日第38页，共64页，星期日，2025年，2月5日§3.5连续信源的最大熵定理若X的取值为非负，且均值在限定为某一确定值，则X的分布函数为指数分布时达到最大。即：Ⅲ.TheMaximumEntropyTheorematLimitedMeanCondition即均值受限条件下的最大熵定理第39页，共64页，星期日，2025年，2月5日§3.5连续信源的最大熵定理＝1＝0第40页，共64页，星期日，2025年，2月5日第41页，共64页，星期日，2025年，2月5日§3.5连续信源的最大熵定理＝?所以在均值受限的条件下，概率密度为负指数分布时相对熵达到最大。第42页，共64页，星期日，2025年，2月5日§3.5连续信源的最大熵定理解法二：Q.E.D第43页，共64页，星期日，2025年，2月5日第三章.例题分析例3-2.(习题4.18)已知随机变量x与y的联合概率密度为：题解：因为只有二维正态随机矢量的联合概率密度才具有上式各项，因此试比较：(参见概率论书中135页公式)所以我们可以利用待定系数的数学方法避开求积分的麻烦。第44页，共64页，星期日，2025年，2月5日第三章.例题分析设待定系数方程组：再利用高斯变量的相对熵中只与其方差有关的特点得到：可根据二维正态熵的标准式，直接写出联合熵(书中197页)：第45页，共64页，星期日，2025年，2月5日第1页，共64页，星期日，2025年，2月5日第三章.连续信源的信息熵§3.1