基于隐马尔可夫模型及切词系统.docVIP

基于隐马尔可夫模型的切词系统  1， 概论 本系统使用隐马尔可夫模型和序列标记法实现切词 1.1，模型参数 状态S={B, M, E, S}代表了序列标记法的四个标记 B：词首，M：词中，E：词尾，S：单独的字成词 观察值集合V为所有可能出现的汉字 p(ti | ti-1) 标记转移概率 p(wi | ti) 标记ti生成词wi的概率 p(t) 标记t出现在句首的概率 1.2，模型学习 使用90%的语料信息，采用有指导的学习方法，最大似然估计法 P (ti | ti-1) = c(ti-1, ti) / c(ti-1) P (wi | ti) = c(ti, wi) / c(ti) 2， 语料信息预处理 2.1思路 分析语料库后发现：语料库每一行都是一个汉语语法意义上的句子。但切词不需要参考语法意义上的句子，只要是有标点符号，我们就视标点符号两侧为不同词，因此我们可以以/w为分割符。 例如： 迈向/v 充满/v 希望/n 的/u 新/a 世纪/n ——/w 一九九八年/t 新年/t 讲话/n （/w 附/v 图片/n １/m 张/q ）/w 我们把它当作三个句子，“迈向”，“一九九八”和“附”将作为句首词，而“世纪”，“讲话”和“张”将作为据尾词。两个/w之间定义为一个句子。 还要切掉”[“，”]”，否则后面的建模过程会出现麻烦 例如： [中央/n 人民/n 广播/vn 电台/n]nt 2.2 过程 读取语料库中每个词语，去掉”/”和”/”后的字符，去掉最前面的版面序号，去掉标点符号，为每个词语添加序列标记（/B,/M,/E,/S），然后保存到一个中间文件中，以备后用。 中间文件格式形如： １/B２/M月/E３/B１/M日/ES 中/B共/M中/M央/E总/B书/M记/ES 国/B家/E主/B席/E江/S泽/B民/E发/B表/E１/B９/M９/M８/M年/E新/B年/E讲/B话/ES 迈/B向/E充/B满/E希/B望/E的/S新/S世/B纪/ES 3， 建模 3.1，数据结构设计 3.1.1计算p(ti | ti-1)的表 B M E S 句首 总和 B M E S ti-1行ti列表是c(ti-1,ti)。总和不包括后来句首，句尾。单独出现表示这个字单独作为一句话出现。 计算c(ti)方法：c(ti)=ti出现在句首的次数＋ti出现在其他状态后的次数（及ti所在列的和） 3.1.2计算p(wi | ti)的数据结构 Typedef struct _word {//表示这个词以B,M,E,S为标记出现的次数即为c(ti,wi)，p开头的表示p(wi|ti) //因为需要平滑，所以次数表示成double类型 Double B Double M Double E Double S Double pB Double pM Double pE Double pS }Word 4， 切词 将预料信息剩下的10%还原成句子，让程序进行切词。 切词就是求隐马尔可夫环的一个能最好解释观察序列的状态转换序列。 用韦特比算法。 4.1数据结构： typedef struct _wtb { double deta;//表示 δ double bo;表示b int fi;表示ψ }WTB; double m_pi[4];表示πi WTB (*m_db)[4];一个二维数组，里面装的是算法所需要的数据 double a[4][4];表示a 4.2算法 韦特比算法在本程序中的表示 初始化 M_db[0][].fi全部初始化为0 M_db[0][].bo初始化为map中对应的那些项 迭代 m_db[t][j].fi = k; m_db[t][j].deta = max * m_db[t][j].bo; max为m_db[t-1][i].deta * a[i][j]的最大值 k为使m_db[t-1][i].deta * a[i][j]为max的i 终止 求m_db[t][i].deta最大值和使其为最大值的k＝i 求最佳路径 迭代表达式k = m_db[t][k].fi;求出所有的k就可得到最佳路径。 4.3 平滑 当出现未登录词Ox时，假设其在不同的状态