哈工大信息论讲义第3-5章2004.doc

第三章 连续信源熵与信道容量 上一章我们讨论的为离散信源，实际应用中还有一类信源称为连续信源，这种信源的时间和取值都是连续的，例如语音信号，电视图像信号都是连续信号。 时间离散状态连续的信源熵可以用连续信源熵表示，相当于一个连续随机变量。而时间连续的信源，为一个随机过程，只要信号频谱有限，则可以根据采样定理，将其变为时间离散信源。 信息论中只讨论单变量连续信源，即时间离散状态连续的连续信源。 3.1连续信源的熵 3.1.1 连续信源熵的定义 ①连续信源的状态概率用概率密度来表示。如果连续随机变量X，取值为实数域R，其概率密度函数为p(x)，则 如果取值为有限实数域[a,b]，则 这时X的概率分布函数为： ②连续信源的数学模型 X：R(或[a,b]) P(X)：p(x) ③连续信源熵的表达式 利用离散信源熵的概念来定义连续信源熵，首先看一个再[a,b]取间的连续随机变量，如图3-1。 首先把X的取值区间[a,b]分割为n个小区间，小区间宽度为： Δ=(b-a)/n 根据概率分布为概率密度函数曲线的区间面积的关系，X取值为xi的概率为： Pi=p(xi).△ 图3-1 连续信源的概念 这样可以得到离散信源Xn的信源空间为： [Xn,P]: Xn: x1 x2 … xn P(Xn): p(x1)△ p(x2)△ … p(xn)△ 且有：当n趋无穷时， 按离散信源熵的定义：可得离散信源Xn的熵： 当△趋于0，n趋于无穷时，离散随机变量Xn将接近于连续随机变量X，这时可以得到连续信源的熵为： 其中：连续信源的熵定义为： ①连续信源熵为一个相对熵，其值为绝对熵减去一个无穷大量。H(X)=Hc(X)-∞ ②连续信源有无穷多个状态，因此根据SHANNON熵的定义必然为无穷大。 ③连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有限的，而信息量是无限的。 ④连续信源熵不具有非负性，可以为负值。 尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，连续信道的输入输出都是连续变量，当分析其交互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，不影响分析。 连续信源的疑义度： 则平均交互信息量为： I(X,Y)=H(X)-H(X/Y) 3.1.2 几种连续信源的熵 ⑴均匀分布的连续信源熵 设一维连续随机变量X的取值区间是[a,b]，在[a,b]中的概率密度函数是 这种连续信源称为均匀分布的连续信源。其熵为： 这时可以看到：当(b-a)1时，H(X)0，即H(X)不具有熵函数的非负性，因为H(X)是相对熵，相对熵可以为负值，但绝对熵仍然为正值。 ⑵高斯分布的连续信源熵 设一维随机变量X的取值范围是整个实数R，概率密度函数为： 其中，m是随机变量X的均值 σ2是随机变量X的方差 当均值m=0时，方差σ2就是随机变量的平均功率， 这个信源称为高斯分布的连续信源，其数学模型为： 这时可以得到高斯连续信源的熵为： 这里利用了积分关系 和 这里的对数是以e为底。当均值为0时，高斯信源的熵为 ⑶指数分布的连续信源熵 设一随机变量X的取值取间为[0，∞]，其概率密度函数为 则称为指数分布的连续信源。其中常数a为随机变量X的均值。即 指数分布的连续信源的熵为 这里利用积分 和 (a0) 3.2 连续信源的最大熵 3.2.1 连续信源的最大熵 为了求出连续信源的最大熵，将利用数学中的变分法的方法来求解。连续信源的熵为： 其基本约束条件为： 其它约束条件为： 。。。。。。 建立辅助函数： 其中有： 根据极值的条件有： 及m个约束方程，可以确定最大熵和所对应的信源概率密度分布p(x)。下面讨论两种基本信源。 ⑴输出幅度受限时的最大熵（瞬时功率受限） 其基本条件为：|x|≤v，x2≤S，这时对应只有一个约束方程， 并且： 可以得到： 这里的对数为以e为底，由约束方程可得： 结论：对于瞬时功率受限的连续信源，在假定信源状态为独立时，当概率密度分布为常数时，信源具有最大熵。其最大熵为： ⑵输出平均功率受限时的最大熵 推导：这时的约束条件为： 可知： 由极值条件： 可得： 将其代入约束条件1，可得： 利用积分公式： 可得： 由： 利用积分关系： 可得： 代入前面的结果： 得到： 得到连续信源获得最大熵时的概率密度函数： 这是一个均值为0的高斯分布。 其最大熵为： 其中利用两个积分关系： 如果平均功率为N=σ2; 则有 结论：（最大熵定理） 对于输出平均功率受限的连续信源，在假设状态相互独立时，当其概率密度函数为高斯分布时，具有最大熵。其最大熵值随功率N的增加而增加。 3.2.2 连续信源的熵功率 ①对于平均功率受限的连续信源，当信源为高斯分布时有最大熵，如果概率分布不是高斯分布，则信源熵将小于最大熵。熵功率