信息论第三章连续信源的信息熵.pptVIP

§3.5连续信源的最大熵定理§3.5连续信源的最大熵定理如果考虑发码顺序是从右向左的方向←，也同样能统计：在等概率的条件下，可使离散信源发送效率最大，这是最大熵定理在信号设计中的具体应用。这也是我们讨论连续信源的目的之一。§3.5连续信源的最大熵定理从相对熵的数学性质中已证明它有最大值，但是如果不考虑约束条件，在求极大值是将有可能走向极端，即求出它的无穷大量。为此这与离散熵所不同，相对熵拥有不同条件下的最大熵。Ⅰ.TheMaximumEntropyTheorematLimitedPeakCondition即限峰功率条件下的最大熵定理所谓限峰条件：所以限峰是指信号的幅度不能任意大，应属于有限的范围。§3.5连续信源的最大熵定理上式表明：在限峰的条件下，只有连续变量x处于均匀分布下，才能使相对熵达到最大，这就是限峰条件的最大熵定理及其证明。§3.5连续信源的最大熵定理约束条件改为平均功率(指信源的输出功率)受限，这实际上在均值为零的信号x来说，就是方差σ2受限。即：Ⅱ.TheMaximumEntropyTheorematLimited-in-mean