第2章 离散信源及其测度(ok).pptVIP

3、离散平稳信源的极限熵 平均符号熵 条件熵 有以下几点性质 （1）条件熵随N的增加是非递增的 （2）N给定时，平均符号熵大于等于条件熵 （3）平均符号熵随N的增加是非递增的 （4） 称 为极限熵。 2.5 离散平稳信源 可以证明，对于二维离散平稳信源，条件熵等于极限熵，因此条件熵就是二维离散平稳信源的真实熵 对于一般信源，求出极限熵是很困难的，然而，一般来说，取N不大时就可以得到与极限熵非常接近的条件熵和平均符号熵，因此可以用条件熵和平均符号熵来近似极限熵 2.5 离散平稳信源 2.6 马尔可夫信源 在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前边已经发出的若干个符号有关，而与更前面的符号无关。 为了描述这类信源除了信源符号集外还要引入状态集。这时，信源输出消息符号还与信源所处的状态有关。 若一个信源满足下面两个条件，则称为马尔可夫信源： （1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关； （2）信源的下一个状态由当前状态和下一刻的输出唯一确定。 （1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关。即 当符号输出概率与时刻L无关，称为具有时齐性。即 2.6 马尔可夫信源 （2）信源的下一个状态由当前状态和