[高等教育]34_马尔可夫信源.pptVIP

信息论与编码技术 电子信息工程专业 主讲：孙静 机械电子工程系 3.4 马尔可夫信源 离散信源中有一类特殊的信源，其信源输出的符号序列中符号之间的依赖关系是有限的，并且满足马尔可夫链的性质，因此可用马尔可夫链来处理。 任何时刻信源符号发生的概率只与前面已经发生过的若干个符号有关，而与更前面的符号无关。 课上要求：课本P64 3.5.2 3.4.1 马尔可夫信源的定义 【定义】若离散平稳信源在某时刻发出的符号仅与在此之前发出的有限个符号有关，而与更早些时刻发出的符号无关，这类信源称为马尔可夫（MovKov）信源。 3.4.1 马尔可夫信源的定义 【数学描述】如果随机变量序列X中的任一时刻(n+1)的随机变量Xn+1只依赖于前面已经发生的n个随机变量X1X2…Xn，与更前面的随机变量无关，则称这种信源为n阶马尔可夫信源。其概率分布表示为： 3.4.1 马尔可夫信源的定义 【特殊说明】 n阶马尔可夫信源只与前面发出的n个符号有关，即关联长度为n+1。 当n=1时，即任何时刻信源符号发生的概率只与前面一个符号有关，则称为一阶马尔可夫信源。 3.4.1 马尔可夫信源的定义 二、相关概念 状态 【定义】把排在指定符号前面与它相关联的n个符号定义为该符号的状态。 【数目】n阶马尔可夫信源可以有qn种不同的状态。 3.4.1 马尔可夫信源的定义 状态 【举例】序列的状态是由信源的符号构成的。 比如二元二阶马尔可夫信源有四个状态：{0，1}?{00，01，10，11} 3.4.1 马尔可夫信源的定义 状态转移 设离散平稳有记忆信源的状态集为S={S1,S2,…,SJ}，在每一状态下输出的符号X∈A={a1,a2,…,aq}，并认为每一时刻，当信源发出一个符号后，信源所处的状态将会发生转移。 【注意】本课程只研究时齐马尔可夫信源，即状态转移过程与时间无关。 三、 n阶马尔可夫信源的条件 前提假设 信源输出符号序列为：x1, x2, … , xl-1, xl , …。 xl ∈A={a1, a2, … , aq} 信源所处的随机状态序列为：u1, u2, … , ul-1, ul , …。 ul ∈ S={S1, S2, … , SJ}， J=qn 三、 n阶马尔可夫信源的条件 数学条件 某一时刻(l)信源符号的输出只与此时刻信源所处的状态有关，而与以前的状态和以前的输出符号都无关。即： 三、 n阶马尔可夫信源的条件 数学条件 信源某一时刻(l)所处的状态只由当前输出的符号和前一时刻(l-1)信源的状态唯一确定。 即： 三、 n阶马尔可夫信源的条件 状态转移概率 设信源在第(l-1)时刻处于状态Sj时，下一时刻转移到Si的状态概率为： pji表示从第(l-1)时刻到第l时刻的状态转移概率，称为一步状态转移概率。 此时，信源的随机状态序列服从马尔可夫链。 四、 马尔可夫信源的状态转移图 【补充】 马尔可夫信源的状态序列在数学模型上可以用马尔可夫链的状态转移图来描述信源。 状态转移图也可称为香农线图。 四、 马尔可夫信源的状态转移图 状态转移图的元素 每个圆圈代表一个状态。 状态之间的有向线段代表某一状态向另一状态的转移。 有向线的一侧标注发出的某符号ak和条件概率p(ak|Sj)。 【例3.5】 设一个二元一阶马尔可夫信源，信源符号集为A={0,1}，条件概率为p(0|0)=0.25，p(0|1)=0.50，p(1|0)=0.75，p(1|1)=0.50。 试画出该信源的状态转移图。 【课本P64 例3.5.2】 【例3.5】 解： 依题意可知q=2，n=1，qn=2，共有两种状态：S1=0，S2=1。 由输出符号的条件概率可求得信源的状态转移概率： p(S1|S1)=0.25 ， p(S1|S2)=0.50 p(S2|S1)=0.75 ， p(S2|S2)=0.50 【例3.5】 由状态转移概率得信源的状态转移图： 【例3.6】 设信源符号X∈A={a1,a2,a3}，信源所处的状态S={S1,S2,S3,S4,S5}。各状态之间的转移情况如图所示，求状态的一步转移概率矩阵。 【例3.6】 【例3.6】 解： 由图可知，信源在Sj状态下输出符号ak的条件概率p(ak|Sj)用矩阵表示为： 【例3.6】 由条件概率矩阵可得 ： 一步转移概率矩阵： 3.4.1 马尔可夫信源的定义 五、 马尔可夫信源的实质 一般有记忆信源发出的是有关联性的各符号构成的整体消息，即输出的是符号序列，并用符号间的联合概率描述这种关联性。 3.4.1 马尔可夫信源的定义 马尔可夫信源的不同之处在于它用符号之间的状态转移概率(条件概率)来描述这种关联关系。换句话说，马尔可夫信源是以转移概率输出