信息论作业习题8.5的解答.docVIP

第=1+1页共sectionpages2页

北航《信息理论基础》习题8.5解答

8.5设有N个相互独立的连续随机变量Xi，i=1,2,…,N, 其相应的熵为H(Xi)。

求证：

并问等号成立的条件？

证明：（归纳法证明）首先假设Y1=X1+X2，X1与X2统计独立，并设Y1的连续熵为：

。Y1的熵功率为：

而随机变量X1和X2的熵功率又分别为：

根据熵功率不等式等号成立的条件是：当X1与X2都是相互独立的高斯随机变量时导致Y1=X1+X2也是高斯变量，这样才能使得等号成立！即：

又设Y2=Y1+X3，因为Y1=X1+X2，所以Y1只与X1和X2有关，而X3与X1、X2相互独立，因此Y1与X3和相互独立。

与以上同理，根据熵功率不等式，可得：同样也有：

同样当X1,X2与X3都是相互独立的高斯随机变量时导致Y2也是高斯变量，这样才能使得等式(II)等号成立！

由此类推，则YN-1=X1+X2+X3+…+XN-1时有

然后再设YN=YN-1+XN=X1+X2+X3+…+XN，因此再根据熵功率定义得：

同样也是当N个相互独立的随机变量Xi为高斯变量时上式等号成立。

由此得证，N个相互独立的连续随机变量，有：

当且仅当Xi(i=1,2,…,N)为高斯变量时上式等号成立。证毕