第二章-信息论基本概念..pptVIP

马尔可夫过程： 对于任意的大于2的自然数n，在连续的时间T轴上有n个不同时刻，t1，t2，…，tn满足，在tn时刻的随机变量Xn与其前面（n－1）个时刻的随机变量X1，X2，…，Xn－1的关系可用它们之间的条件概率密度函数来表示，如果满足下式： p(Xn ，tn| Xn－ 1 ， tn－1 ，Xn－2， tn－2，…，X1，t1) ＝p(Xn ，tn| Xn － 1，tn － 1) 则这种随机过程称为单纯马尔可夫过程（一阶马尔可夫过程） K阶马尔可夫过程的特征为： p(Xn ，tn| Xn－ 1 ， tn－1 ，Xn－2， tn－2，…，X1，t1) ＝p(Xn ，tn| Xn－1，tn－1 ，Xn－2， tn－2，…，Xn－k，tn－k) 马尔可夫链： 当马尔可夫过程的随机变量幅度和时间参数均取离散值时，就称作马尔可夫链。 设随机过程在时间域上T＝{t1，t2，… ，tk－1，tk，…，tn－1，tn}的n个离散时刻上的状态Xk (k＝1，2，3， … ，n)都是离散型的随机变量，并且有M个不同的取值S1,S2,…,SM，这M个取值便构成一个状态空间S，S＝{S1,S2,…,SM}.在n个时刻上的n个状态构成一个随机序列（X1，X2，… ，Xk－1，Xk，…，Xn－1，Xn） 对于这个随机序列，若有： 则此序列称为单纯马尔可夫链（一阶马尔可夫链）。 一阶马尔可夫链在tn时刻的取值Xn ＝Sin的概率仅与前一状态Xn-1有关，与其它时刻状态无关，它的记忆长度为两个时刻。若与它前面K个时刻tn-1，tn-2，… ，tn-k有关，则为K阶马尔可夫链，它的记忆长度为（K+1）个时刻。 设一阶马尔可夫链在时刻tk－1随机序列的取值Xk－1＝Si，而在下一时刻tk，随机序列的取值Xk＝Sj，则条件概率为: P(j|i)＝P(Xk＝Sj|Xk－1＝Si ) 因为P(j|i)仅取决于状态Sj和Si ，因此称P(j|i)为由状态Si向Sj的转移概率。 对于具有M个不同的状态空间，M2个转移概率可排成一转移矩阵： 每行元素代表同一起始状态到M个不同终止状态的转移概率； 每列元素代表M个不同起始状态到同一终止状态的转移概率； 显然有： P(j|i)＝1 （i=1,2, …,M） K阶马尔可夫链每个状态由K个符号组成。若信源符号有D种，则状态数目M为： M＝DK 马尔可夫链可以用香农线图表示。(a),(b),(c)分别表示信源含两种字母(D＝2)的一阶、二阶和三阶马尔可夫链的线图。(d),(e)分别表示D＝3和D＝4的一阶马尔可夫链的线图。 一、概述 一般情况下，信源输出符号之间的相关性可以追溯到最初的一个符号，而在许多信源的输出符号序列中，符号之间的依赖关系是有限的——任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关。这类信源在输出符号时不仅与符号集有关，还与信源的状态有关。 状态转移图(香农线图) 二、马尔可夫信源 若信源输出的符号和信源所处的状态满足以下两个条件，则称为马尔可夫信源： 三、 m阶马尔可夫信源 一般有记忆信源： 发出的是有关联性的各符号构成的整体消息，即输出的是符号序列，并用符号间的联合概率描述这种关系。 马尔可夫信源： 用符号之间的转移概率（条件概率）来描述这种关联关系。即马尔可夫信源是以转移概率输出每个信源符号。 m阶马尔可夫信源 在某一时刻l，符号出现的概率仅与前面已出现的m个符号有关，可以把这前面m个符号序列看成信源在l时刻所处的状态。若每符号取值q种，则共有qm种状态，每种状态对应一个m长(q 进制)序列 ，这种状态序列符合马尔可夫链的性质，可用马氏链来描述，这种信源称为m阶马尔可夫信源。数学模型： 【注】 上述定理说明，有限齐次、遍历马尔可夫链信源，在初始时刻可以处在任意状态，然后状态之间可以转移，经过足够长时间之后，信源处于什么状态已与初始状态无关。 状态极限概率方程组可写为： [例1] 设有二元二阶马尔可夫信源： [例2]：有一个马尔可夫信源，已知  试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 在计算信源熵之前，先用转移概率求稳定状态下二个状态x1和 x2 的概率