第三章连续信源及信源熵.pptVIP

3.8 连续信源及信源熵(4) 3.6 连续信源及信源熵 3.6.1 一些基本概念 (1) 连续信源定义 (2) 随机过程及其分类 (3) 通信系统中的信号 (4) 平稳遍历的随机过程 （1） 连续信源定义 连续信源：输出消息在时间和取值上都连续的信源。 例子：语音、电视等。 连续信源输出的消息是随机的，与随机过程{x(t)}相对应。可用有限维概率密度函数描述。 (2) 随机过程及其分类 ① 随机过程 ② 随机过程的分类 ① 随机过程 随机过程定义：随机过程{x(t)}可以看成由一系列时间函数xi(t)所组成，其中i=1,2,3,…，并称xi(t)为样本函数。 ② 随机过程的分类 可以分为两类：根据统计特性，连续随机过程可分为平稳与非平稳随机过程两大类。 (3) 通信系统中的信号 一般认为，通信系统中的信号都是平稳的随机过程。 (4) 平稳遍历的随机过程 随机过程{x(t)}中某一样本函数x(t)的时间平均值定义： 统计平均值： 遍历的随机过程：时间平均与统计平均相等，即 3.6.2 连续信源的熵 (1) 计算连续信源熵的两种方法 (2) 连续信源的熵 (3) 连续信源的联合熵、条件熵 (1) 计算连续信源熵的两种方法 第一种方法：把连续消息经过时间抽样和幅度量化变成离散消息，再用前面介绍的计算离散信源的方法进行计算。即把连续消息变成离散消息求信源熵 第二种方法：通过时间抽样把连续消息变换成时间离散的函数，它是未经幅度量化的抽样脉冲序列，可看成是量化单位Δx趋近于零的情况来定义和计算连续信源熵。 (2) 连续信源的熵 ① 单变量连续信源数学模型 ② 连续信源的熵 ③ 举例 ④ 连续信源熵的意义 ① 单变量连续信源数学模型 单变量连续信源数学模型 ③ 举 例 若连续信源的统计特性为均匀分布的概率密度函数 ④连续信源熵的意义 1）连续信源熵并不是实际信源输出的绝对熵，是相对熵 2）连续信源的绝对熵还有一项正的无限大量，虽然log2(b-a)小于0，但两项相加还是正值，且一般还是一个无限大量。因为连续信源的可能取值数有无限多，若假定等概率，确知其输出值后所得信息量也将为无限大； 3）Hc(X)不能代表信源的平均不确定度，也不能代表连续信源输出的信息量 4）这种定义可以与离散信源在形式上统一起来； 5）在实际问题中常常讨论的是熵之间的差值问题，如信息变差、平均互信息等。在讨论熵差时，两个无限大量互相抵消。所以熵差具有信息的特征； (5) 连续信源的联合熵和条件熵 两个连续变量的联合熵 3.6.3 几种特殊连续信源的熵 (1) 均匀分布的连续信源的熵 (2) 高斯分布的连续信源的熵 (3) 指数分布的连续信源的熵 (1) 均匀分布的连续信源的熵 一维连续随机变量X在[a,b]区间内均匀分布时的熵为 Hc(X)=log2(b-a) 若N维矢量X=(X1X2…XN)中各分量彼此统计独立，且分别在[a1,b1][a2,b2] …[aN,bN]的区域内均匀分布，即 (2) 高斯分布的连续信源的熵 一维随机变量X的取值范围是整个实数轴R，概率密度函数呈正态分布，即 这个连续信源的熵为 (3) 指数分布的连续信源的熵 若一维随机变量X的取值区间是[0,∞)，其概率密度函数为 3.6.4 连续熵的性质 (1) 连续熵可为负值 (2) 连续熵的可加性 (3) 平均互信息的非负性 (4) 平均互信息的对称性和数据处理定理 3.6.5 最大连续熵定理 在不同的限制条件下，信源的最大熵也不同。 (1) 限峰值功率的最大熵定理 (2) 限平均功率的最大熵定理 (3) 均值受限条件下的最大熵定理 (1) 限峰值功率的最大熵定理 ① 限峰值功率的最大熵定理 ② 证明过程 ③ 说明 ① 限峰值功率的最大熵定理 若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。 ② 证明过程 设N维随机变量 ③ 说 明 在实际问题中，常令bi≥0,ai=-bi, i=1,2,…,N。这种定义域边界的平移并不影响信源的总体特性，因此不影响熵的取值； 此时，随机变量Xi(i=1,2, ,…,N)的取值就被限制在±bi之间，峰值就是│bi│； 如果把取值看作输出信号的幅度，则相应的峰值功率为2bi； 所以上述定理被称为峰值功率受限条件下的最大连续熵定理，简称限峰值功率的最大熵定理。此时最大熵值为 (2) 限平均功率的最大熵定理 ① 限平均功率的