第二章信息度量3.ppt

2.5 连续信源 定义：输出消息在时间和取值上都连续的信源。如语音，电视信源。对应的数学工具为随机过程。 从统计特性上讲，连续随机过程大致可分为平稳（统计特性-各维概率密度函数不随时间平移而变化的随机过程）和非平稳随机过程两大类。 一般认为，通信系统中的信号都是平稳的随机过程，或分段平稳的随机过程。 最常见的平稳随机过程为遍历过程。 2.5.1连续信源的熵（微分熵） 离散变量的熵，因取值有限，熵肯定存在。而连续变量趋于∞，熵趋于∞ P(34) 连续信源的熵也称为相对熵，连续信源的绝对熵还有一项正的无限大量。 显然把离散熵的表达式第二项去掉（微分熵），在实际应用中，熵的第二项都取值一样。可以把它理解为连续随机变量不确定程度的相对量度 连续熵的性质及最大连续熵定理 连续熵的性质 连续熵可为负值（连续熵的相对性所致） 可加性 平均互信息的非负性，对称性 连续信源也满足数据处理定理 最大连续熵定理 限峰值功率的最大熵定理 若信源的N维随机变量的取值在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。 若随机变量的取值限制在 之间，峰值为 ，则最大熵值为： 限平均功率的最大熵定理 若信源输出信号的平均功率P和均值m被限定，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。 均值受限条件下的最大连续熵定理 若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源X具有最大熵值。 * 总结：连续信源与离散信源不同，它不存在绝对的最大熵。其最大熵与信源的限制条件有关。 熵功率（讨论没有达到最大熵的连续信源的剩余问题） 若平均功率为P的非高斯分布的信源具有熵为h，则称为h的高斯信源的平均功率为熵功率 。 因为当平均功率受限时一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率P。 熵功率的大小可以表示连续信源剩余的大小。信号平均功率和熵功率之差 被称为连续信源的剩余度。 本章总结： 含义： 熵：系统无序性的量度 互信息量：是两个随机变量之间统计依存性的 关系：熵是互信息的特例，而熵是最基础的。（怎样理解？） 共同特性：凸性：这一重要特点特别适合优化有极值，导致后来的最大熵原理和最小鉴别信息原理。 * * 连续随机变量下的熵 实际中：离散随机变量、连续随机变量 熵的引入：观察随机变量 微积分中：某种函数问题的极限－－连续问题 存在问题：数学处理上、概念和含义上 香农熵没有把离散和连续和谐统一成为遗憾 连续随机变量下的熵 单个连续消息的随机变量 连续随机变量可以看作是离散随机变量的极限，故可采用离散随机变量来逼近。下面，将采用这一观点讨论连续随机变量的信息熵与信息量。 首先类比概率 与概率密度p(u)： 连续随机变量下的熵 令u∈［a,b］，且ab,现将它均匀的划分为n份，每份宽度为△＝ ，则u处于第i个区间的概率为 ，即 = (中值定理) 即当p(u)为u的连续函数时，由中值定理，必存在一个 值，使上式成立。 连续随机变量下的熵 考虑离散随机变量熵的定义为： H（X）＝ 则有： Hn(u)=－ =－ =－ 连续随机变量下的熵 连续随机变量下的熵 = = 按照离散熵的概念，连续随机变量的熵应为无穷大，失去意义。 1948年，香农直接定义： h（U）＝ ＝ - 其中R1＝ 表示实轴。 即定义取有限值的项为连续信源的信息熵，也称微分熵。 连续随机变量下的熵 连续分布随机变量的微分熵VS离散随机变量的熵 实际应用中，数据都只有有限精度，在有限精度下随机变量熵表达式中的第二项取值相同，因此微分熵可以作为连续随机变量不确定程度的相对度量。 应注意的是h(U)是连续随机变量的熵，而不是连续随机变量输出的信息量，而连续随机变量输出的信息量是Hn(U).这就是说，在离散随机变量中随机变量输出信息量就是信源熵，两者是相等；但是在连续随机变量中则是两个概念，且