信息论与编码英文课件 ch2例题与证明四.doc

连续信源的熵与互信息 在通信中模拟信号比如语音、图像未数字化以前均属于连续信源。它在概念上与离散信源是不同的，但也有不少类似之处。 对连续信源的分析，也可以类似于离散信源从单个连续消息（变量）开始，在推广至连续消息序列。对于连续随机变量可采用概率密度来描述；对连续随机序列可采用相应的序列概率密度来描述；而对于连续的随机过程一般也可以按照取样定理分解为连续随机变量序列来描述。 单个连续消息的随机变量信源 连续随机变量可以看作是离散随机变量的极限，故可采用离散随机变量来逼近。 下面，将采用这一观点讨论连续信源的信息熵与信息量。 首先类比概率pi与概率密度p(u)： 单变量连续信源的数学模型： 令u∈［a,b］，且ab,现将它均匀的划分为n份，每份宽度为△＝，则u处于第i个区间的概率为pi，则 pi= (中值定理) 即当p(u)为u的连续函数时，由中值定理，必存在一个ui值，使上式成立。 再按照离散信源的信息熵的定义有： Hn(u)=－ =－ =－ = = 于是我们定义前一项取有限值的项为连续信源的信息熵，并记为Hc(U). 即：Hc(U)= 也可记为：Hc(U)= 其中R1＝　表示实轴。 注意：Hc(U)是连续信源的熵，而不是连续信源输出的信息量，而连续信源输出的信息量是Hn(U).这就是说，在离散信源中信源输出信息量就是信源熵，两者是一个概念；但是在连续信源中则是两个概念，且不相等。连续信源输出信息量Hn(U)是一个绝对值，它取值于∞，而连续信源的熵Hc(U)则是一个相对值，且取值是有限的。 连续信源的熵Hc(U)是一个过渡性的概念，它虽然也具有可加性，但不一定满足非负性，它可以不具有信息的全部特征。 比如，对一个均匀分布的连续信源，按照定义，有 显然，当时，Hc(U)0, 这说明它不具备非负性。但是连续信源输出的信息量由于有一个无限大量的存在，Hn(U)仍大于０。这里，我们仍将Hc(U)定义为连续信源的熵，理由有二：一是由于它在形式上于离散熵相似： 离散熵：H(U)= 连续熵：Hc(U)= 另一个更重要的原因是在于实际处理问题时，比如互信息、信道容量、信息率失真函数等可涉及到的仅是熵的差值，即互信息。这时，只要相差的两个连续熵在逼近时可取的是一致的，两个同样的无限大的尾巴就可以互相抵消。可见，Hc(U)是具有相对性，它是为了引入互信息等重要概念而引入的一个过渡性的概念。 同理，还可进一步定义如下连续随机变量的熵： 条件熵与联合熵： 且有： 几种特殊连续信源的熵 1.均匀分布的连续信源的熵 一维连续随机变量X在[a,b]区间内均匀分布时，已求得其熵为 若N维矢量中各分量彼此统计独立，且分别在的区域内均匀分布，即有 可以证明，N维均匀分布连续信源的熵为 可见，N维统计独立均匀分布连续信源的熵是N维区域体积的对数，其大小仅与各维区域的边界有关。这是信源熵总体特性的体现，因为各维区域的边界决定了概率密度函数的总体形状。 根据对数的性质，还可写成 说明连续随机矢量中各分量相互统计独立时，其矢量熵就等于各单个随机变量的熵之和。这与离散信源的情况类似。 高斯分布的连续信源的熵 设一维随机变量X的取值范围是整个实数轴R，概率密度函数呈正态分布，即 其中m是X的均值 是X的方差 当均值m=0时，X的方差就是随机变量的平均功率 由这样的随机变量X所代表的连续信源，称为高斯分布的连续信源。 这个连续信源的熵为 因为 所以 上式说明高斯连续信源的熵与数学期望m无关，只与方差有关。 在介绍离散信源熵时我们就讲过，熵描述的是信源的整体特性。由高斯函数的曲线可见，当均值m发生变化时，只是p(x)的对称中心在横轴上发生平移，曲线的形状没有任何变化。也就是说，数学期望m 对高斯信源的总体特性没有任何影响。但是，若X的方差不同，曲线的形状随之改变。所以，高斯连续信源的熵与方差有关而与数学期望无关。这是信源熵的总体特性的再度体现。 指数分布连续信源的熵 若一随机变量X的取值区间是，其概率密度函数为 则称X代表的单变量连续信源为指数分布的连续信源。其中常数m是随机变量X的数学期望 指数分布的连续信源的熵为 由 有 其中 上式说明，指数分布的连续信源的熵只取决与均值。这一点很容易理解，因为指数分布函数的均值，决定函数的总体特性。 连续熵的性质 1．连续熵可为负值 2．可加性 连续信源也有与离散信源类似的可加性。即 (1