第九章 隐马尔可夫模型(HMM) 语音信号处理 课件教学 讲义.ppt

目前的性能 容易评价，只需计算标注正确的词性数量 目前准确率大约在97%左右 Baseline也可以达到90% Baseline算法: 对每一个词用它的最高频的词性进行标注 未登录词全部标为名词 词性标注 P(T|W)=P(W|T)P(T)/P(W) argmaxTp(T|W)=argmaxTp(W|T)p(T) P(W|T)=∏i=1…dp(wi|w1,…,wi-1,t1,…,td) p(wi|w1,…,wi-1,t1,…,td) ≌p(wi|ti) P(T)=∏i=1…dp(ti|t1,…,ti-1) p(ti|t1,…,ti-1)=p(ti|ti-n+1,…,ti-1) 有指导的学习 训练时事先对语料库进行了人工的词性标注，因此在训练时看到了状态（词性），属于VMM，在测试时，只能看到观察值（词序列），因此属于HMM。 应用最大似然估计 p(wi|ti)=cwt(ti,wi)/ct(ti) p(ti|ti-n+1,…,ti-1) =ctn(ti-n+1,…,ti-1,ti)/ct(n-1)(ti-n+1,…,ti-1) 平滑 p(wi|ti)：加1平滑 p(ti|ti-n+1,…,ti-1)：线性差值 用带标记的语料进行训练 Pierre/NNP Vinken/NNP , , 61/CD years/NNS old/JJ ,/, will/MD join/VB the/DT board/NN as/IN a/DT nonexecutive/JJ director/NN Nov./NNP 29/CD ./. Mr./NNP Vinken/NNP is/VBZ chairman/NN of/IN Elsevier/NNP N.V./NNP ,/, the/DT Dutch/NNP publishing/VBG group/NN . . Rudolph/NNP Agnew/NNP ,/, 55/CD years/NNS old/JJ and/CC former/JJ chairman/NN of/IN Consolidated/NNP Gold/NNP Fields/NNP PLC/NNP ,/, was/VBD named/VBN a/DT nonexecutive/JJ director/NN of/IN this/DT British/JJ industrial/JJ conglomerate/NN ./. c(JJ)=7 c(JJ, NN)=4, P(NN|JJ)=4/7 无指导的学习 语料库只是词的序列，没有人工标注词性，是Plain Text。 完全无指导的学习是不可能的 至少要知道： 词性集 每个词可能的词性（据词典） 使用Baum-Welch算法 无指导学习的秘诀 语料库(只有两个句子) A lion ran to the rock D N V P D N Aux V The cat slept on the mat D N V P D N V R 我们能够学习到什么？ D, N, V的概率大于D, V, V，Cat应该标注为N V, P, D的概率大于V, Aux, D或V, R, D，因此to和on应标为P 未登录词 考虑所有词性 只考虑开放类词性 Uniform（平均分配概率） Unigram（考虑每个词性独立出现的概率） 根据未登录词的前缀和后缀猜测其词性 运行词性标注器 无论是对有指导的学习，还是对无指导的学习，在搜索阶段都一样：使用Viterbi算法！ Πn=2.52 bn(人民)=7.37 n n nh c p v n v n a a d n v 9.89 bn(收入)=6.98 ann=2.76 n n nh c p v n v n a a d n v 9.89 20.02 Viterbi示例 argmaxXYZP(XYZ|rry) Viterbi计算 Viterbi算法 三重循环 第一重：遍历每一个观察值 第二重：遍历当前观察值所对应的每一个状态 第三重：遍历能够到达当前观察值当前状态的上一时刻的每一个状态 计算 假设上一时刻为t，t时刻的的状态为i，t+1时刻的状态为j，t+1时刻的观察值为k，则计算： ?j(t+1)=max1?i?N?i(t)aijbijk ?j(t+1)=argmax1?i?N?i(t)aijbijk t+1时刻状态j的返回指针指向t时刻的状态?j(t+1) 输出 三重循环都结束后，在最后时刻找到?值最大的状态，并从该状态开始，根据返回指针查找各时刻的处于最佳路径上的状态，并反序输出。 N-best计算 保留n个