信息论基础理论与应用3极限熵与马科夫信源.pptVIP

2.6 马科夫信源 2.6.1 马科夫信源的定义 2.6.2 马科夫信源的信源熵 马科夫信源的定义 在非平稳信源中，其输出的符号系列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关。描述这类信源，还需引入状态变量Ei。 设一般信源所处的状态S∈｛E1，E2,…，EJ，在每一状态下可能的输出的符号X∈A=｛a1，a2，…，aq｝。 当信源发出一个符号后，信源所处的状态将发生转移。信源输出的随机符号序列为： x1,x2,…,xL-1,xL, … 对应信源所处的随机状态序列为 E1，E2，…,EL-1，EL，… 在第L时刻，信源处于状态Ei时刻，输出符号ak的概率给定为 P(xL=ak|sL=Ei) 马科夫信源的定义 定义2.6.1 若信源符号输出的状态序列和信源所处的状态序列满足下列两个条件： (2) 则此信源称为马科夫信源。 马科夫信源的判定例解 [例2.7] 设信源符号X∈A=｛a1，a2，a3｝，信源所处的状态S∈｛E1，E2，E3，E4，E5｝，各状态之间的转移情况由图2.4给出。 图2.4 状态转移图 E1状态下输