信息论基础理论应用3极限熵及马科夫信源.pptVIP

2.5 离散平稳信源 2.5.1 离散平稳信源的数学定义 2.5.2 二维平稳信源及其信息熵 2.5.3 离散平稳信源的极限熵 2.5.1 离散平稳信源的数学定义 实际情况下，离散信源的输出是空间或时间的离散符号序列，而且在序列中符号之间有依赖关系.此时可用随机矢量来描述信源发出的消息，即 2.5.2 二维平稳信源及其信息熵 二维平稳信源满足以下条件： 二维平稳信源的信息熵(3) 二维平稳信源的信息熵(4) 二维平稳信源的信息熵(5) 二维平稳信源的信息熵(6) 二维平稳信源的信息熵(7) 二维平稳信源的信息熵(8) 2.5.3 离散平稳信源的极限熵 离散平稳信源的极限熵(1) 离散平稳信源的极限熵(2) 对于离散平稳信源，当H1(X)∞时，具有以下几点性质： 条件熵H(XN|X1X2…XN-1)随N的增加是非递增的 N给定时，平均符号熵≥条件熵 ，即 HN(X)≥H(XN|X1X2…XN-1) 平均符号熵HN(X) 随N的增加是非递增的 离散平稳信源的极限熵(3) 离散平稳信源的极限熵(4) 离散平稳信源的极限熵(5) 离散平稳信源的极限熵(7) 离散平稳信源的极限熵(7) 离散平稳信源的极限熵(8) 马科夫信源的定义 马科夫信源的定义 定义2.6.1 若信源符号输出的状态序列和信源所处的状态序列满足下列两个条件： 马科夫信源的判定例解 马科夫信源的判定例解 马