[2018年最新整理]信息论与编码-第7讲-第2章信源及信息度量4.pptVIP

(3) 信源的冗余度 ① 信息传输手段的浪费 ② 信源冗余度定义及意义 ③ 重要结论 ① 信息传输手段的浪费 对一般离散平稳信源， H∞就是实际信源熵。理论上只要有传送H∞的手段，就能把信源包含的信息全部发送出去。但实际上确定H∞非常困难，只好用Hm来代替。 Hm+1H∞，所以在传输手段上必然富裕，这样做很不经济，特别是有时只能得到H1，甚至H0，就更不经济。这种浪费是由信源符号的相关性引起的。 ② 信源冗余度定义及意义 信源熵的相对率η ：为了衡量符号间的相互依赖程度，定义信源实际的信息熵与同样符号数的最大熵的比值为信源熵的相对率： η= H∞/H0 信源冗余度ξ：1减去信源熵的相对率η，即 ξ=1-η=(H0-H∞)/H0 信息结构/信息变差I0∞：I0∞= H0 -H∞。 信源的实际熵应为H∞，但H∞很难得到，于是用H0来表达信源。两者之差代表了语言结构确定的信息。I0∞越大，冗余度越大。冗余度是用来衡量符号间的依赖程度。英语信源冗余度为 ξ=(4.76-1.4)/4.76=0.71 ③ 重要结论 写英语文章时，71%是由语言结构定好的，只有29%是写文字的人可以自由选择的。100页的书，大约只传输29页就可以了，其余71页可以压缩掉。信息的冗余度表示信源可压缩的程度。 从提高传输效率的观点出发，总是希望减少或去掉冗余度。 冗余度大的消息抗干扰能力强。能通过前后字之间的关联纠正错误。 听母语广播和听外语广播的对比说明：听外语费劲是英语冗余度不够造成的。因此，英语听力要过关，除了多听多练以外，其实并无多少捷径可走。 (4) 通信效率与可靠性的关系 信源编码就是通过减少或消除冗余度来提高通信效率。 信道编码是通过增加冗余度来提高通信的抗干扰能力，即提高通信的可靠性。 通信的效率问题和可靠性问题往往是一对矛盾。 2.2.4 马尔可夫信源 (1) 马尔可夫信源的定义 (2) m阶马尔可夫信源 (3) 举例 (1) 马尔可夫信源的定义 ① 信源的状态和符号集 ② 马尔可夫信源定义 ③ 举例 ① 信源的状态和符号集 有一类信源，输出的符号序列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关。 设符号集为X和状态为S。信源输出的信息符号还与信源所处的状态有关。 状态S∈{e1,e2,…,ej} 符号X∈{x1,x2, …,xn} 每一时刻信源发出一个符号后，所处的状态将发生转移。 信源输出的随机符号序列为 X1,X2, …,Xl-1,Xl, … 信源所处的随机状态序列为 S1,S2, …,Sl-1,Sl, … 在第l 时刻，信源状态为ei时，输出符号xk的概率为 pl(xk /ei)=P(Xl=xk /Sl=ei) 在第l-1时刻，信源状态ei时，下一时刻转移到ej的状态转移概率为 pl(ej /ei)=P(Sl=ej /Sl-1=ei) 一步转移概率：状态转移概率 pl(ej /ei)=P(Sl=ej /Sl-1=ei) 称为马尔可夫链在时刻l 的状态一步转移概率。 时齐/齐次马尔可夫链：一般情况下，状态转移概率和已知状态下符号发生的概率均与时刻l 有关。若这些概率与时刻l 无关，即 pl(xk /ei)= p(xk /ei) pl(ej /ei)= p(ej /ei) 则称为时齐的或齐次的。此时的信源状态服从时齐马尔可夫链。 ② 马尔可夫信源定义 马尔可夫信源：信源输出的符号和所处的状态满足下列两个条件。 某一时刻信源符号的输出只与此刻信源所处的状态有关，与以前的状态和以前的输出符号都无关。即 P(Xl=xk /Sl=ei , Xl-1=xk-1 , Sl-1=ej ,…) =pl(xk /ei) 当具有时齐性时有 pl(xk /ei)= p(xk /ei) 信源某l时刻所处的状态由当前的输出符号和前一时刻(l-1)信源的状态惟一确定。即 结论： 若信源处于某一状态ei，当它发出一个符号后，所处的状态就变了； 任何时刻信源处在什么状态完全由前一时刻的状态和发出的符号决定； 因为条件概率p(xk /ei)已给定，所以状态的转移满足一定的概率分布，并可求出状态的一步转移概率p(ej /ei)。 马尔可夫链的状态转移图：每个圆圈代表一种状态，状态之间的有向线代表某一状态向另一状态的转移。有向线一侧的符号和数字分别代表发出的符号和条件概率。 ③