信息论与编信源及信息度量.ppt

2.3.3马尔可夫信源的序列熵 设一马尔可夫信源处在某一状态ei，当它发出一个符号后，所处的状态就变了，即从状态ei变到了另一状态。任何时刻信源处在什么状态完全由前一时刻的状态和此刻发出的符号决定 。 2.3.3马尔可夫信源的序列熵 定理2-5 各态遍历定理 对于有限齐次马尔可夫链。若存在一个正整数，对一切i,j=1,2，…，nm都有pr(ej|ei)大于0，则对每一个j都存在不依赖于i的极限 称这种马尔可夫链是各态遍历的。其极限概率是方程组 满足条件 的惟一解。这就是有限齐次马尔可夫链的各态遍历定理。 2.4 连续信源的熵和互信息 连续信源是一类比较难于处理的信源，如何来求解呢？逐步分解和简化是解决这类问题的常用方法，我们可以先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。 2.4.1幅度连续的单个符号的信源熵 连续信源熵(也叫相对熵、差熵)定义为 我们可以看到相对熵和绝对熵（信息量）相差一个无穷。我们可以这样理解：连续信源采样点需要无穷多，才能变为离散信源，每一个点都带有信息量，所以差一个无穷。好像没有意义了。工程上我们主要是比较信源熵，将无穷项约掉，就有意义了。一般我们将相对熵简称为熵。