信息导论第6讲信源熵.pptVIP

2.3 连续信源 2.3.1 一些基本概念 2.3.2 连续信源的熵 2.3.3 几种特殊连续信源的熵 2.3.4 连续熵的性质 2.3.5 最大连续熵定理 2.3.6 熵功率 2.3.1 一些基本概念 (1) 连续信源定义 (2) 随机过程及其分类 (3) 通信系统中的信号 (4) 平稳遍历的随机过程 (1) 连续信源定义 连续信源：输出消息在时间和取值上都连续的信源。 例子：语音、电视等。 连续信源输出的消息是随机的，与随机过程{x(t)}相对应。可用有限维概率密度函数描述。 (2) 随机过程及其分类 ① 随机过程 ② 随机过程的分类 ① 随机过程 随机过程定义：随机过程{x(t)}可以看成由一系列时间函数xi(t)所组成，其中i=1,2,3,…，并称xi(t)为样本函数。 每个样本函数是随机过程的一个实现； 每个样本函数不仅在时间上，而且在幅度取值上都是连续变化的波形。 在某一固定的瞬时时刻t=ti，各个样本函数的取值，成为一个连续型的随机变量Xti； 一般用n维概率密度函数族pn(x1,x2,…,xn,t1,t2,…,tn)来描述随机过程的统计特性，n越大，描述越完善； 消息数是无限的。输出的每个可能的消息是随机过程{x(t)}中的一个样本函数。对于样本函数来说，它是时间t的连续函数，时间的取值为不可数的无限多个。另外，当固定某一瞬时t=tk时，信源的输出是一个随机变量X，X的取值又是连续的，为不可数的无限多个值。因此连续信源可能有的消息数为无限多个。 连续型信源，可用有限维概率密度函数族以及各维概率密度函数有关的统计量来描述。 ② 随机过程的分类 根据统计特性，连续随机过程可分为平稳与非平稳随机过程两大类。 平稳随机过程：统计特性/各维概率密度函数不随时间平移而变化。 非平稳随机过程：统计特性随时间平移而变化。 (3) 通信系统中的信号 一般认为，通信系统中的信号都是平稳的随机过程。 虽然在无线通信系统中，受衰落干扰的无线电信号属于非平稳随机过程，但在正常通信条件下，都可近似地当做平稳随机过程或分段平稳的随机过程来处理。 (4) 平稳遍历的随机过程 随机过程{x(t)}中某一样本函数x(t)的时间平均值定义： 随机过程{x(t)}在某时刻ti所取的随机变量 的统计平均值/集平均定义： 遍历的随机过程：时间平均与统计平均相等，即 2.3.2 连续信源的熵 (1) 计算连续信源熵的两种方法 (2) 连续信源的种类 (3) 连续信源的数学描述 (4) 连续信源的熵 (5) 连续信源的联合熵 (1) 计算连续信源熵的两种方法 第一种方法：把连续消息经过时间抽样和幅度量化变成离散消息，再用前面介绍的计算离散信源的方法进行计算。 第二种方法：通过时间抽样把连续消息变换成时间离散的函数，它是未经幅度量化的抽样脉冲序列，可看成是量化单位Δx趋近于零的情况来定义和计算连续信源熵。 (2) 连续信源的种类 连续信源分为单变量和多变量。 多变量连续信源属于有记忆信源，直接计算有记忆连续信源的熵十分困难。一般处理方法是采用某种变换把有记忆信源变成无记忆信源，然后再计算信源熵。 (3) 连续信源的数学描述 单变量连续信源的输出是取值连续的随机变量。可用变量的概率密度、变量间的条件概率密度和联合概率密度描述。 ① 一维概率密度函数 ② 条件概率密度和联合概率密度函数 ① 一维概率密度函数 随机变量X的一维概率密度函数/边缘概率密度函数为 ② 条件概率密度和联合概率密度函数 条件概率密度函数 联合概率密度函数 它们之间的关系为 边缘概率密度函数满足 因为概率密度函数是不同的函数，所以用脚标来加以区分，以免混淆。为了简化书写，往往省去脚标，但在使用时要注意。 (4) 连续信源的熵 ① 单变量连续信源数学模型 ② 连续信源的熵 ③ 举例 ④ 连续信源熵的意义 ① 单变量连续信源数学模型 单变量连续信源数学模型 R是连续变量X的取值范围。 先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。 设p(x)如图2.3.1所示。把连续随机变量X的取值分割成n个小区间，各小区间等宽，即Δ=(b-a)/n。则变量落在第i个小区间的概率为 其中xi是a+(i-1)Δ到a+iΔ之间的某一值。当p(x)是X的连续函数时，由中值定理可知，必存在一个xi值使上式成立。 这样连续变量x就可用取值为xi(i=1,2,…,n)的离散变量近似。连续信源被量化成离散信源。 ② 连续信源的熵 上式右端的第一项一般是定值，而第二项在Δ→0时是一无限大量。丢掉后一项，定义连续信源的熵为 上式定义的熵在形式上和离散信源