(信息论、编码及应用)第4章连续信源与连续信道.pptx

4.1一维连续随机变量的离散化及其差熵

4.2N维连续随机变量的差熵

4.3平稳随机过程的N维和无穷维差熵

4.4两种特殊连续信源的差熵

4.5差熵的基本性质

4.6差熵的极值性与上凸性

4.7最大差熵定理

4.8差熵的变换

4.9连续信道的平均互信息及其上凸性和极值性

4.10平均互信息的不变性与不增性

4.11高斯随机变量加性连续信道及其信道容量

4.12高斯随机过程加性连续信道及其信道容量

4.13香农公式及其应用的有关问题;4.1一维连续随机变量的离散化及其差熵

4.1.1连续信源空间的数学模型

如果X的取值范围是全实数轴，则归一化条件要求满足;如果X的取值范围是有限的实数区域[a，b]，则有;4.1.2连续信源的离散化及其差熵

在建立了连续信源空间数学模型的基础上，我们来讨论连续信源的信息测度问题。为了能借助于离散信源信息测度的已有结果，我们首先需要对连续信源和连续随机变量作离散化处理，这是因为连续变量总是可以由离散变量来逼近，把连续变量看成是离散变量的极限情况。所以在讨论连续信源的信息熵中，我们总的思路是：在X的取值区间中，以等间隔对X进行分层量化，则得相对应的离散随机变量Xn和离散信源的熵H(Xn)。然后，令分层间隔趋于零，得离散熵H(Xn)的极限值。这个极限值就可认为是连续信源的信息熵。;假设连续信源X的概率密度分布函数为p(x)，取值区间为[a，b]，且p(x)是x在取值区间[a，b]中的连续函数。

首先，将X的取值区间[a，b]分割为n个小区间，并且各个小区间等宽，即;;根据积分中值定理，在区间[a+(i－1)Δ，a+iΔ]中必定存在一个ξi，满足;根据式(4-7)，可得离散化后信源空间的数学模型为;当n→∞，Δ→0时，离散随机变量Xn：{ξ1，ξ2，…，ξn}无限逼近连续随机变量X：[a，b]，则离散信源Xn的信息熵H(Xn)的极限值就是连续信源X的信息熵，即对上式取极限，得;为连续信源X的熵，常称之为连续信源X的差熵。

由式(4-10)可知，连续信源X的熵H(X)应为无穷大。这一点是很好理解的，因为连续信源X的可能取值有无穷多个，不妨假定这些无穷多个取值为等概分布，由离散信源等概分布时信??熵的计算公式H(X)=logr，并令r→∞，得信源X每发出一个符号(即取一个数值)所提供的平均信息量为;假设另有一个连续信源Y，其概率密度分布函数为p(y)，取值区间为[c，d]，并且p(y)是y在取值区间[c，d]中的连续函数。我们用同样的方法得到其对应的离散信源Ym如下：;可以证明，按离散条件熵的定义，可得离散随机变量Xn和Ym的条件熵H(Xn|Ym)为;重要的不在于式(4-11)和式(4-16)本身，而在于“通信前后关于信源不确定性的消除，就等于通信中获得的信息量”这一根本观点，可得从连续随机变量Y中获取关于连续随机变量X的平均信息量为;4.2N维连续随机变量的差熵

对于N维连续平稳信源，它由N个取值连续的随机变量X1，X2，…，XN来表示，由这些随机变量组成一个随机矢量X=X1X2…XN，常称之为N维连续随机变量，注意到这里的每一个Xi(i=1，2，…，N)就是在4.1节中介绍的一维连续随机变量。设N维连续随机变量的概率密度函数为p(x)=p(x1x2…xN)，其中xi∈Xi(i=1，2，…，N)，并且满足归一化条件;同理，与多符号离散平稳信源相类似，若随机矢量X中的每一个分量Xi(i=1，2，…，N)均取自于同一个一维连续平稳信源X，即xi∈X(i=1，2，…，N)，那么，这个N维随机变量一定是平稳的。如果随机矢量X=X1X2…XN中的每一个分量彼此统计独立，满足;4.2.1N维联合差熵

N维联合差熵的定义为;4.2.2N维条件差熵

N维条件差熵的定义为;;4.3平稳随机过程的N维和无穷维差熵

在自然界中，事物变化过程可分为两类：一是确定性变化过程，用确定性的时间函数来描述；二是随机过程，它的每次出现是用一个样本函数(或称为一个实现)来描述的，如果是平稳随机过程，其统计平均可以用时间平均来代替。平稳随机过程的基本特征是：

(1)它是时间t的函数，但在某一时刻上观察到的值是不确定的，是一个随机变量；

(2)每一个实现(即一个样本函数)都是一个确定的时间函数，但究竟出现哪一个可能的实现，事先无法确定。;下面举一个实例来加以说明。设有n台完全相同的通信机同时记录它们输出的噪声波形。实验结果表明，这n个记录波形并不因这n台通信机完全相同而输出相同的波形，而是输出n个可能的实现。它们各不相同，每次记录是一个实现，当n→∞时，无数个记录构成的