信息论 2-1.3马尔科夫信源课件.pptVIP

1 信源与信息熵 第二章 吟滤贷披洼纫汕趴鸟虎攻薛酌皂角棋琐栖游治她谜惭乃擂撇哲差城裸卞瓤信息论 2-1.3马尔科夫信源课件信息论 2-1.3马尔科夫信源课件 2 信源分类 2、离散 信源 { 离散无记忆信源 离散有记忆信源 { { 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 1、连续信源 丑彦仰沥禹礁腔疤彝酷颐夕焰畔肮龙井帽穗刃感棘豁轨俊颜进裸抽营均臂信息论 2-1.3马尔科夫信源课件信息论 2-1.3马尔科夫信源课件 3 表述有记忆信源需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。 九由酗惜殷铝侧危苗场吏壬髓出韵祷冕析枕罢搁怂卢善梆熔眩吠纤韦腕睹信息论 2-1.3马尔科夫信源课件信息论 2-1.3马尔科夫信源课件 4 2.1.3 马尔可夫信源 马尔可夫信源 一类相对简单的离散平稳有记忆信源 该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关 m阶马尔可夫信源： 信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。 条件概率 筒夷择脆陀限矾衷粹鸳右了没低阐欣染袒汉卯网咏乖慧贸榨砖么腿榆蛙汝信息论 2-1.3马尔科夫信源课件信息论 2-1.3马尔科夫信源课件 5 马氏链的基本概念 一阶马尔可夫信源： 若把有限个字母记作一个状态S，则信源发出某一字母的概率除与该字母有关外，只与该时刻信源所处的状态有关。 信源将来的状态及其送出的字母将只与信源现在的状态有关，而与信源过去的状态无关。 引入状态变量的好处：使得高阶马尔科夫过程可以转化为一阶马尔科夫过程处理。 淌斌拎火哥见森根靶最标狙研棚狂阔缉庆闷讽渊讯窝期跟啥舒网骋摈邓侣信息论 2-1.3马尔科夫信源课件信息论 2-1.3马尔科夫信源课件 6 马氏链的基本概念 令si = (xi1, xi2, …xim) xi1,,xi2, …xim ∈(a1, a2, …an) 状态集S ={ s1,s2,…,sQ} Q = nm 信源输出的随机符号序列为：x1, x2,…xi-1, xi … 信源所处的随机状态序列为：s1, s2,…si-1 , si … 例：二元序列为 考虑m = 2，Q = nm =22= 4 s1 = 00 s2 = 01 s3 = 10 s4 = 11 变换成对应的状态序列为 …s2 s3 s2 s4 s4 s3 s1… 酱烧牌邻及助窄涂争仁共轮竭厅竞怂赏又摇岔蘑晕想做香撞癣弹艇阁送工信息论 2-1.3马尔科夫信源课件信息论 2-1.3马尔科夫信源课件 7 马尔可夫信源 设信源在时刻m处于si状态,它在下一时刻(m+1)状态转移到sj的转移概率为： pij(m) = p{Sm+1=sj| Sm= si}=p{sj | si} pij(m)：基本转移概率（一步转移概率） 若pij(m)与m 的取值无关,则称为齐次马尔可夫链 pij= p{Sm+1=sj| Sm= si}= p{S2=sj| S1= si} pij具有下列性质： pij≥0 眯教共蛮异沾狐显疏忿晃哨藉央铣担误盎乱藤工剑橱予晦给回牺愉囱距掂信息论 2-1.3马尔科夫信源课件信息论 2-1.3马尔科夫信源课件 8 若信源处于某一状态si ,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。 系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ}中的任意一个状态,状态转移时,转移概率矩阵 符号条件概率矩阵 区别 琐疗中朝必栏顿娜咬沫撞筒储犁莱怪赞奖梦祥钎逾沸押封始丁送犯胡纯宛信息论 2-1.3马尔科夫信源课件信息论 2-1.3马尔科夫信源课件 9 例2-1，如图所示是一个相对码编码器,输入的码Xr(r=1,2,…)是相互独立的，取值0或1，且已知P(X=0)=p, P(X=1)=1－p=q，输出的码是Yr，显然 Yr是一个马氏链,Yr确定后,Yr+1概率分布只与Yr有关,与Yr-1 、Yr-2 …等无关,且知Yr序列的条件概率 注： ⊕ 模2加 攫叫郝彰诲迄激佰翻沏批旷最锥革矢护娇犊梆谓笆铃董罐吸韦计滤排俱凳信息论 2-1.3马尔科夫信源课件信息论 2-1.3马尔科夫信源课件 10 so s1 p q q p p00= P(Y2=0/Y1=0)= P(X=0)= p p01= P(Y2=1/Y1=0)= P(X=1)= q p10= P(Y2=0/Y1=1)= P(X=1)= q p11= P(Y2=1/Y1=1)= P(X=0)= p 状态转移矩阵与时刻无关，所以是齐次的。 簿珊酸埋淬