[教育]信息论基础课件231-4.pptVIP

* 2.3 连续信源 所谓连续信源，是指输出信息在时间和取值上都连续的信源. 就统计特性而言，连续随机过程大致可分为平稳与非平稳随机过程两大类。前者是统计特性不随时间平移而变化的随机过程，后者则是统计特性随时间平移而变化的随机过程。一般认为，通信系统中的信号都是平稳的随机过程。 最常见的平稳随机过程为遍历过程。所以常用平稳遍历的随机过程来描述连续信源。 遍历过程除了统计特性不随时间变化外，其集平均还以概率1等于时间平均。在随机过程{x(t)}中，某一样本函数x(t)的时间平均值定义为 而集平均是随机过程{x(t)}在某时刻 ti 所取的随机变量Xti 的统计平均值： 2.3.1 连续信源的熵 计算连续信源的熵一般有两种方法： （1）把连续消息经过时间抽样和幅度量化变成离散消息，再用计算离散信源熵的方法进行计算。 （2）通过时间抽样把连续消息变换成时间离散的函数，它是未经幅度量化的抽样脉冲序列，可看成是量化单位Δx趋近于零的情况来定义和计算连续信源熵。 与离散信源熵类似，连续信源也有单变量和多变量之分。多变量连续信源属于有记忆信源，直接计算有记忆连续信源的熵十分困难。一般处理方法是采用某种变换把有记忆信源变成无记忆信源，然后计算信源熵。 基本连续信源的输出是取值连续的单个随机变量，可用变量的概率密度 来描述。此时，连续信源的数学模型为： 其中，R是全体实数集，是变量X的