信息论基础（第2版）（田宝玉 杨洁 贺志强 许文俊）PPT全套完整教学课件.ppt

3.6.3文本信源汉字近似概率表类别汉字个数所占概率P每个汉字的概率PiⅠ1400.50.5/140Ⅱ625-140=485（0.85-0.5）=0.350.35/485Ⅲ2400-625=1775（0.997-0.85）=0.1470.147/1775Ⅳ76000.0030.003/76003.6.3文本信源根据上表,可近似估算汉语信源的信息熵：(比特/符号)3.6.3文本信源例3.17根据上面的统计结果，分别计算汉语语与英语信源的效率和剩余度。对于汉语，信源效率：剩余度：对于英语，信源效率：剩余度：*1离散信源X的N次扩展源的熵仅当信源无记忆时等式成立；2离散信源X的N次扩展源的平均符号熵仅当信源无记忆时等式成立。本章小结*2、有记忆信源的符号熵：并且 3．马氏源的符号熵：其中 4．信源剩余度本章小结109谢谢观看*北京邮电大学信息论第4章连续信息与连续信源*3.4.4马氏链的平稳分布(7)解：该马氏链的状态转移图为：所以马氏链是一个周期常返类，周期=2。由于另外，马氏链是有限状态的，因此存在唯一的平稳分布。1112*1.马氏源的基本概念2.马氏源的产生模型3.马氏源N次扩展源熵的计算4.马氏源符号熵的计算3.5马尔可夫信源*3.5马尔可夫信源的基本概念（1）▲当前时刻输出符号的概率仅与当前时刻的信源状态有关▲下一时刻的信源状态由当前信源状态和当前输出符号唯一确定。马氏源：*★m阶马氏链的处理方法(2)m阶马氏链的符号转移概率已给定:2)做m长符号序列到信源状态的映射 x取遍，k=m,m+1,…；状态取自 ，为状态数；*★m阶马氏链的处理方法(2)3)符号转移概率转换成状态转移概率其中,4)得到马氏源模型：?*3.5.1马氏源的基本概念(3)给定二阶马氏源符号集A={0，1}，转移概率分别为：p(0/00)=p(1/11)=0.8，p(1/00)=P(0/11)=0.2，p(0/01)=p(0/10)=p(1/01)=p(1/10)=0.5确定该马氏源的状态，写出状态转移矩阵，画出信源的状态转移图。*解：3.5.1马氏源的基本概念(4)*3.5.2马氏源的产生模型(1)平稳转移概率的马氏源的产生模型*3.3.2离散平稳有记忆信源的熵*例3.143.5.2马氏源的产生模型(3)设独立随机列，，，，随机序列与的关系为其中为模2加；问：（1）随机序列是否为马氏链？（2）如果是马氏链，那么求状态转移概率并画状态转移概率图。解：3.5.2马氏源的产生模型(4)序列为有记忆序列，在n时刻的取值仅与n-1时刻与n-2时刻有关，而与以前的时间无关，因此构成二阶马氏链。设条件概率：*解：3.5.2马氏源的产生模型(5)所求条件概率：*解：3.5.2马氏源的产生模型(6)因此，马氏链的状态转移概率图：*例3.153.5.3马氏链N次扩展源的熵的计算(1)有一个二元马氏链X，符号集为{0，1}，其中符号转移概为，；计算该信源三次扩展源的所有符号的概率。*解：3.5.3马氏链N次扩展源的熵的计算(2)首先求平稳分布*解：3.5.3马氏链N次扩展源的熵的计算(3)类似得到*3.5.3马氏链N次扩展源的熵的计算(4)做映射 其中k为时间标号，j为状态序号。利用熵的可加性，将上式展开，并利用马氏性得*3.5.3马氏链N次扩展源的熵的计算（5）对于平稳马氏链，状态序列也是平稳的，状态条件熵也不随时间平移而改变。设状态平稳分布为则上式变为：?*如果起始状态概率为平稳分布,则