为什么可以压缩可以压缩到什么程度提前思考信道的通与相关解读.pptVIP

3次结束 * 4jiesu 5kaishi * * * * * 结论： 当对信号/数据/消息进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号/数据/消息变成更有用的形式，但是绝不会创造出新的信息。这就是所谓的信息不增原理。 当已用某种方式取得Y后，不管怎样对Y进行处理，所获得的信息不会超过I(X;Y)。每处理一次，只会使信息量减少，至多不变。也就是说在任何信息流通系统中，最后获得的信息量，至多是信源提供的信息。一旦在某一过程中丢失了一些信息，以后的系统不管怎样处理，如果不能接触到丢失信息的输入端，就不能再恢复已丢失的信息。 2.3 离散序列信源的熵 前面讨论的是单符号离散信源(即信源每次输出单个符号)及其各种熵。然而实际信源往往输出的消息是时间和空间上的一系列符号。 这类信源每次输出的不是一个单个的符号，而是一个符号序列。通常一个消息序列的每一位出现哪个符号都是随机的，而且一般前后符号之间的出现是有统计依赖关系的，这种信源称为离散序列信源（多符号离散信源）。 2.3.1 离散无记忆信源的序列熵 设信源输出的随机序列（随机矢量）为，＝（X1 X2…Xl…XL），序列中的单个符号变量，即序列长为L。设随机序列的概率为： 2.3.1 离散无记忆信源的序列熵 序列熵本质上是一种联合熵 为了简化问题，假设信源无记忆（符号之间无相关性），p(序列)=p(xi1xi2…xiL) = 2.3.1 离散无记忆信源的序列熵 其中， 在以上条件的基础上，进一步假设信源的序列满足平稳特性（与序号l无关）时，有p(xi1)=p(xi2)=… =p(xiL)=p，p(xi)＝pL，则信源的序列熵又可表示为H(X)。 平均每个符号熵为 可见，对于平稳无记忆信源平均每个符号的符号熵等于单个符号的信源熵。 2.3.2离散有记忆信源的序列熵 对于有记忆信源，就不像无记忆信源那样简单，它必须引入条件嫡的概念，而且只能在某些特殊情况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源，有下列结论： 2.3.2离散有记忆信源的序列熵 当前后符号无依存关系时，有下列推论： 2.3.2离散有记忆信源的序列熵 为了便于研究，假设随机矢量中随机变量的各维联合概率分布均不随时间的推移而变化，换句话说，信源所发出的符号序列的概率分布与时间的起点无关。这种信源称为离散平稳序列信源。 2.3.2离散有记忆信源的序列熵 对离散平稳序列信源，有下列性质： （1）时间不变性 p{Xi1=x1,Xi2=x2,…,XiL=xL}= p{Xi1+h=x1,Xx2+h=x2, …,XiL+h=xL } （2）H(XL|XL-1) 是L的单调递减函数 （3）HL(X) ≥H(XL|XL-1) （4）HL (X) 是L的单调递减函数 （5） 称为极限熵或者极限信息量，注意，它是序列的平均符号熵，而不是序列熵。 2.3.3马尔可夫信源的序列熵 设一马尔可夫信源处在某一状态ei，当它发出一个符号后，所处的状态就变了，即从状态ei变到了另一状态。任何时刻信源处在什么状态完全由前一时刻的状态和此刻发出的符号决定 。 2.3.3马尔可夫信源的序列熵 定理2-5 各态遍历定理 对于有限齐次马尔可夫链。若存在一个正整数，对一切i,j=1,2，…，nm都有pr(ej|ei)大于0，则对每一个j都存在不依赖于i的极限 称这种马尔可夫链是各态遍历的。其极限概率是方程组 满足条件 的惟一解。这就是有限齐次马尔可夫链的各态遍历定理。 2.4 连续信源的熵和互信息 连续信源是一类比较难于处理的信源，如何来求解呢？逐步分解和简化是解决这类问题的常用方法，我们可以先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。 2.4.1幅度连续的单个符号的信源熵 连续信源熵(也叫相对熵、差熵)定义为 我们可以看到相对熵和绝对熵（信息量）相差一个无穷。我们可以这样理解：连续信源采样点需要无穷多，才能变为离散信源，每一个点都带有信息量，所以差一个无穷。好像没有意义了。工程上我们主要是比较信源熵，将无穷项约掉，就有意义了。一般我们将相对熵简称为熵。 2.4.2 波形信源熵 波形信源在概念上与离散信源是不同的，但也有不少类似之处。对连续信源的分析，也可以类似于离散信源从单个连续消息（变量）开始，在推广至连续消息序列。对于连续随机变量可采用概率密度来描述：对连续随机序列可采用相应的序列概率密度来描述；