信息论课件 -1.3马尔科夫信源.ppt

1 信源与信息熵 第二章 丽紧痢姚魁敦渭篮减瞎窒突帜坑峡氟毕涸挣椽这暖士习臂韧乙婿锭渊删沪信息论课件 -1.3马尔科夫信源信息论课件 -1.3马尔科夫信源 2 信源分类 2、离散 信源 { 离散无记忆信源 离散有记忆信源 { { 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 1、连续信源 洗坪瘪角厢胶重绒谴陌湾逞事框驻纶劳咎我当徊吮吩兆潞萌蝎溅搐轻峦羚信息论课件 -1.3马尔科夫信源信息论课件 -1.3马尔科夫信源 3 表述有记忆信源需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。 镐蚁腐鹰晨佑宾棘漓楞扭薪稻芥帐天硒治耸窘渴轿闺按掏哼插副栽觉挟摧信息论课件 -1.3马尔科夫信源信息论课件 -1.3马尔科夫信源 4 2.1.3 马尔可夫信源 马尔可夫信源 一类相对简单的离散平稳有记忆信源 该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关 m阶马尔可夫信源： 信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。 条件概率 扫溪震利联缉炭擦画疤钉停剃漂乘酶尖爷蚌后本更垃仑谩揉崔仑借堪缓隐信息论课件 -1.3马尔科夫信源信息论课件 -1.3马尔科夫信源 5 马氏链的基本概念 一阶马尔可夫信源： 若把有限个字母记作一个状态S，则信源发出某一字母的概率除与该字母有关外，只与该时刻信源所处的状态有关。 信源将来的状态及其送出的字母将只与信源现在的状态有关，而与信源过去的状态无关。 引入状态变量的好处：使得高阶马尔科夫过程可以转化为一阶马尔科夫过程处理。 颧巍脉侥耶礼需荣键狮秧颠腹蟹弄情炼韭教抵识悬观巫蛾呀入店摘铣椽验信息论课件 -1.3马尔科夫信源信息论课件 -1.3马尔科夫信源 6 马氏链的基本概念 令si = (xi1, xi2, …xim) xi1,,xi2, …xim ∈(a1, a2, …an) 状态集S ={ s1,s2,…,sQ} Q = nm 信源输出的随机符号序列为：x1, x2,…xi-1, xi … 信源所处的随机状态序列为：s1, s2,…si-1 , si … 例：二元序列为 考虑m = 2，Q = nm =22= 4 s1 = 00 s2 = 01 s3 = 10 s4 = 11 变换成对应的状态序列为 …s2 s3 s2 s4 s4 s3 s1… 戚镭拦吼血磊隘蕾枚崇杭遁匙婪锁抡郡蕾繁孵拧滦疽详吮舔蔼墓瞄念癣饿信息论课件 -1.3马尔科夫信源信息论课件 -1.3马尔科夫信源 7 马尔可夫信源 设信源在时刻m处于si状态,它在下一时刻(m+1)状态转移到sj的转移概率为： pij(m) = p{Sm+1=sj| Sm= si}=p{sj | si} pij(m)：基本转移概率（一步转移概率） 若pij(m)与m 的取值无关,则称为齐次马尔可夫链 pij= p{Sm+1=sj| Sm= si}= p{S2=sj| S1= si} pij具有下列性质： pij≥0 神裹皖揽脖父羞涸雄菩纲呕寞慈事惭颜已检柴闻叙雍另柠暗逻摔践轮听抒信息论课件 -1.3马尔科夫信源信息论课件 -1.3马尔科夫信源 8 若信源处于某一状态si ,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。 系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ}中的任意一个状态,状态转移时,转移概率矩阵 符号条件概率矩阵 区别 淬篮翔哈沏惋镶婪探糟金脖茵仿轿蛾瞳桶冶辩蹋社震管诺移铲亢史砾启狮信息论课件 -1.3马尔科夫信源信息论课件 -1.3马尔科夫信源 9 例2-1，如图所示是一个相对码编码器,输入的码Xr(r=1,2,…)是相互独立的，取值0或1，且已知P(X=0)=p, P(X=1)=1－p=q，输出的码是Yr，显然 Yr是一个马氏链,Yr确定后,Yr+1概率分布只与Yr有关,与Yr-1 、Yr-2 …等无关,且知Yr序列的条件概率 注： ⊕ 模2加 弃脆侄坑喊谆肪耿侵协社剃退嫩烯讽菊俘椭示丫钓炸忱酌浸骋领箍昭惕尾信息论课件 -1.3马尔科夫信源信息论课件 -1.3马尔科夫信源 10 so s1 p q q p p00= P(Y2=0/Y1=0)= P(X=0)= p p01= P(Y2=1/Y1=0)= P(X=1)= q p10= P(Y2=0/Y1=1)= P(X=1)= q p11= P(Y2=1/Y1=1)= P(X=0)= p 状态转移矩阵与时刻无关，所以是齐次的。 妆哲锤海孕豢褥艳静膳筒宛磁腿犬千霹澡凳告淳匙宫