极限熵及马科夫信源.pptVIP

2.5 离散平稳信源 2.5.1 离散平稳信源的数学定义 2.5.2 二维平稳信源及其信息熵 2.5.3 离散平稳信源的极限熵 2.5.1 离散平稳信源的数学定义 实际情况下，离散信源的输出是空间或时间的离散符号序列，而且在序列中符号之间有依赖关系.此时可用随机矢量来描述信源发出的消息，即 2.5.2 二维平稳信源及其信息熵 二维平稳信源满足以下条件： 二维平稳信源的信息熵(3) 二维平稳信源的信息熵(4) 二维平稳信源的信息熵(5) 二维平稳信源的信息熵(6) 二维平稳信源的信息熵(7) 二维平稳信源的信息熵(8) 2.5.3 离散平稳信源的极限熵 离散平稳信源的极限熵(1) 离散平稳信源的极限熵(2) 对于离散平稳信源，当H1(X)∞时，具有以下几点性质： 条件熵H(XN|X1X2…XN-1)随N的增加是非递增的 N给定时，平均符号熵≥条件熵 ，即 HN(X)≥H(XN|X1X2…XN-1) 平均符号熵HN(X) 随N的增加是非递增的 离散平稳信源的极限熵(3) 离散平稳信源的极限熵(4) 离散平稳信源的极限熵(5) 离散平稳信源的极限熵(7) 离散平稳信源的极限熵(7) 离散平稳信源的极限熵(8) 马科夫信源的定义 马科夫信源的定义 定义2.6.1 若信源符号输出的状态序列和信源所处的状态序列满足下列两个条件： 马科夫信源的判定例解 马科夫信源的判定例解 马科夫信源的判定例解 马科夫信源的极限熵 马科夫信源的应用 马科夫信源的应用 马科夫信源的判定例解 马科夫信源的信息熵 马科夫信源的信息熵 马科夫信源的信息熵 马科夫信源的信息熵 马科夫信源的信息熵 例题讲解 例题讲解 根据贝叶斯可得： 信息的剩余度 本章小结 自信息 I(ai)=-logP(ai) 信息熵 H(X)=–∑p(x)logp(x) 熵函数的性质 对称性 确定性 非负性 扩展性 可加性 递推性 极值性 本章小结 离散无记忆信源的N次扩展信源的熵 H(X)=H(XN)=NH(X) 离散平稳信源的平均符号熵 HN(X)=H(X1X2‥XN) ／N 离散平稳信源的条件熵 H(XN|X1X2‥XN-1) 离散平稳信源的极限熵 本章小结 离散平稳信源有 H(XN|X1X2…XN-1)≤H(XN-1|X1X2…XN-2) ≤H(XN-2|X1X2…XN-3) ≤… ≤H(X3|X1X2) ≤H(X2|X1) ≤H(X1) ≤ logq 在非平稳信源中，其输出的符号系列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关。描述这类信源，还需引入状态变量Ei。 设一般信源所处的状态S∈｛E1，E2,…，EJ，在每一状态下可能的输出的符号X∈A=｛a1，a2，…，aq｝。 当信源发出一个符号后，信源所处的状态将发生转移。信源输出的随机符号序列为： x1,x2,…,xL-1,xL, … 对应信源所处的随机状态序列为 E1，E2，…,EL-1，EL，… 在第L时刻，信源处于状态Ei时刻，输出符号ak的概率给定为 P(xL=ak|sL=Ei) (2) 则此信源称为马科夫信源。 [例2.7] 设信源符号X∈A=｛a1，a2，a3｝，信源所处的状态S∈｛E1，E2，E3，E4，E5｝，各状态之间的转移情况由图2.4给出。 图2.4 状态转移图 E1状态下输出的概率分布为 P(a1|E1)=1/2 P(a2|E1)=1/4 P(a3|E1)=1/4 E2状态下输出的概率分布为 P(a1|E2)=0 P(a2|E2)=1/2 P(a3|E2)=1/2 以此类推得在各状态下的输出概率分布表如下表