(39)--【脚本】4.3 差熵的性质信息论基础.ppt

4.5差熵的性质

差熵的两条基本性质:1.差熵可为负值2.条件差熵小于无条件差熵

条件差熵小于无条件差熵设无条件差熵为：条件差熵为：

式中运用了根据上式，便可证得用同样方法可证得相关大的条件熵小于相关小的条件熵，例如

其中N=3,4,…。同样考虑这两者之间的差值，根据詹森不等式的微积分形式，得

从而证明了（4-44）式成立。反复运用上书方法，可证得式中N=3,4,…。最后根据（4-43）式和（4-45）式，我们有（4-46）

在离散信源中，熵的极值性由完备的自熵小于完备的互熵来表征差熵的极值性

在连续信源中，我们同样可证得下式成立：即差熵的极值性也同样由完备的自熵小于完备的互熵来表征。

9差熵的上凸性成立，则差熵h(X)为上凸函数，这与离散信源的H(X)为上凸函数是相似的。?

连续信源X的差熵是概率密度函数p(x)上凸函数，而且具有极值性。差熵一定在某一概率密度函数时取得最大值。?

11最大差熵定理定理4-1若某信源的峰值功率受限，则概率密度为均匀分布时差熵达到最大值。定理4-2若某信源输出信号的平均功率和均值被限定，则其输出信号幅度的概率密度是高斯分布时，信源达到最大差熵值。

12最大差熵定理定理4-1若某信源的峰值功率受限，则概率密度为均匀分布时差熵达到最大值。“受限”指的均值和方差都应取有限的确定值。定理4-2若某信源输出信号的平均功率和均值被限定，则其输出信号幅度的概率密度是高斯分布时，信源达到最大差熵值。

注意到平均功率和均值受限的限制条件，相当于方差受限的限制条件。特别是当均值为零时，这时的平均功率就等于方差。平均功率受限和均值为零的两种限制条件就等于方差受限的限制条件，且方差限定值就等于平均功率限定值。这样，就可以将该问题转变为方差受限问题来讨论。?最大差熵定理

?从直观上看这也是合理的，因为高斯噪声是一个最不确定的随机过程，而最大的熵值只能从最不确定的事件中获得。

信源输出的消息，为了使得信源与信道匹配，一般都要进行一一对应变换后才通过信道传输。差熵的变换信源变换信道XY信源输出信号的一一对应变换

在离散情况下，对于一一对应变换的线性变换来说，变换后不会改变原有的概率分布（即变换前后的概率分布完全相同），由于信源的熵和平均互信息都是以概率为基础来进行计算的，是绝对熵，既然变换前后的概率分布保持不变，故信源的熵和平均互信息也就不会发生任何变化。如果将一一对应变换也看成一种“数据处理”的话，则这种“数据处理”显然不会造成对信息的任何损失。

对于连续信源和连续信道，即便是在一一对应变换的情况下，由于是差熵，是一种相对熵，故信源的熵也会发生变化。

例：0123456xp(x)1/2A图0123456xp(x)1/4B图由A图得:由B图得:B图是A图放大2倍的结果，计算表明信息量增加了，实际熵是相同的，但差熵不相等。一连续信源的概率密度

离散信源中符号幅值的改变不会改变符号个数，不影响概率密度函数，因此不影响信源熵数值上的改变。连续信源中由于符号的连续性，符号幅度的改变影响符号的取值范围，从而影响概率密度函数，并进而影响差熵的数值。?