马尔科夫模型教学内容.ppt

目前的性能 容易评价，只需计算标注正确的词性数量 目前准确率大约在97%左右 Baseline也可以达到90% Baseline算法: 对每一个词用它的最高频的词性进行标注 未登录词全部标为名词 词性标注 P(T|W)=P(W|T)P(T)/P(W) argmaxTp(T|W)=argmaxTp(W|T)p(T) P(W|T)=∏i=1…dp(wi|w1,…,wi-1,t1,…,td) p(wi|w1,…,wi-1,t1,…,td) ≌p(wi|ti) P(T)=∏i=1…dp(ti|t1,…,ti-1) p(ti|t1,…,ti-1)=p(ti|ti-n+1,…,ti-1) 有指导的学习 训练时事先对语料库进行了人工的词性标注，因此在训练时看到了状态（词性），属于VMM，在测试时，只能看到观察值（词序列），因此属于HMM。 应用最大似然估计 p(wi|ti)=cwt(ti,wi)/ct(ti) p(ti|ti-n+1,…,ti-1) =ctn(ti-n+1,…,ti-1,ti)/ct(n-1)(ti-n+1,…,ti-1) 平滑 p(wi|ti)：加1平滑 p(ti|ti-n+1,…,ti-1)：线性差值 用带标记的语料进行训练 Pierre/NNP Vinken/NNP , , 61/CD years/NNS old/JJ ,/, will/MD join/VB t