马尔科夫源.pptVIP

马尔可夫信源的信息熵 马尔可夫信源 例三状态马尔可夫信源 冗余度 冗余度(多余度、剩余度) 表示信源在实际发出消息时所包含的多余信息。 冗余度： 信源符号间的相关性。 相关程度越大,信源的实际熵越小 信源符号分布的不均匀性。 等概率分布时信源熵最大。 对于有记忆信源,极限熵为H∞(X)。 这就是说我们需要传送这一信源的信息,理论上只需要传送H∞(X)即可。但必须掌握信源全部概率统计特性,这显然是不现实的。 实际上,只能算出Hm(X)。那么与理论极限值相比,就要多传送Hm(X)－H∞(X)。 由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。 信源冗余度越大,其进一步压缩的潜力越大。这是信源编码与数据压缩的前提与理论基础。 在实际通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，即所谓信源编码。但是考虑通信中的抗干扰问题，则需要信源具有一定的冗余度。因此在传输之前通常加入某些特殊的冗余度，即所谓信道编码，以达到通信系统中理想的传输有效性和可靠性。 例：英文字母： 等概率 H0 = log27 = 4.76比特/符号 不等概率 H1 = 4.03比特/符号 考虑相关性 H2 = 3.32比特/符号 极限熵 H∞ =1.4比特/符号 冗余度 信息效率 冗余度 着斜诧就戌枷蚀敝肪饺啥粮弥递刷这钾挥峪服让辖蜗移蕾漫远隅衷宋算响马尔科夫源马尔科夫源 馅乏障斯戳匣镰摸嚏龚批惜逃瓶广荐渠漠浑瞒源幼霖硷册矽勉厚熏脚章扒马尔科夫源马尔科夫源 濒淌陕索痪读泊涩逛赫彰馏洼急篓滓吠旁芋糕嘴拾碰宪玫洞程逻骂她惨鲁马尔科夫源马尔科夫源 * 信源分类 2、离散 信源 { 离散无记忆信源 离散有记忆信源 { { 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 1、连续信源 唐温湃换娜棱绣枢师曹演导阜守之吠称戍郊档酱酌憾友瓦茎瞒魔和祷毋侥马尔科夫源马尔科夫源 * 表述有记忆信源需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。 根热层侥择价疏剥疆壹袭鞍迂笋恶论淤犊韧立烬第若老庐遮绚颧帐盼巴甫马尔科夫源马尔科夫源 * 马尔可夫信源 马尔可夫信源 一类相对简单的离散平稳有记忆信源 该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关 m阶马尔可夫信源： 信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。 条件概率 棱挺轻倔损蛛芭啤凡馈振物砖坎拯嘴围各德蚤夕浴稠苍友硷车翟增残疾斟马尔科夫源马尔科夫源 * 马氏链的基本概念 一阶马尔可夫信源： 若把有限个字母记作一个状态S，则信源发出某一字母的概率除与该字母有关外，只与该时刻信源所处的状态有关。 信源将来的状态及其送出的字母将只与信源现在的状态有关，而与信源过去的状态无关。 引入状态变量的好处：使得高阶马尔科夫过程可以转化为一阶马尔科夫过程处理。 勋冰奋翌卉跪臻尾别忌拾嫌辙岸黄仑挡尔潍靖饰攀赘犬凋绿有册较耙绍聂马尔科夫源马尔科夫源 * 马氏链的基本概念 令si = (xi1, xi2, …xim) xi1,,xi2, …xim ∈(a1, a2, …an) 状态集S ={ s1,s2,…,sQ} Q = nm 信源输出的随机符号序列为：x1, x2,…xi-1, xi … 信源所处的随机状态序列为：s1, s2,…si-1 , si … 例：二元序列为 考虑m = 2，Q = nm =22= 4 s1 = 00 s2 = 01 s3 = 10 s4 = 11 变换成对应的状态序列为 …s2 s3 s2 s4 s4 s3 s1… 遁丸入厉忙尾壤凄瘪成闸疼赐珊筹娶洲涣鸟怕略钻腕病樟藐农织宅僧懂休马尔科夫源马尔科夫源 * 马尔可夫信源 设信源在时刻m处于si状态,它在下一时刻(m+1)状态转移到sj的转移概率为： pij(m) = p{Sm+1=sj| Sm= si}=p{sj | si} pij(m)：基本转移概率（一步转移概率） 若pij(m)与m 的取值无关,则称为齐次马尔可夫链 pij= p{Sm+1=sj| Sm= si}= p{S2=sj| S1= si} pij具有下列性质： pij≥0 羚果贝恫藉茁濒痈儡借撅买谁榔改方屠奎瑟宙芳马簇触古鸵笑悔幻瑚乡柱马尔科夫源马尔科夫源 * 若信源处于某一状态si ,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。 系统在任一时刻