一种词法分析与字标注分词结合的方法.pdf

ISSN1009-3044 E-mail: xsjl@ Computer Knowledge and Technology 电脑知识与技术 第8 卷第8 期 (2012 年3 月) Computer Knowledge and Technology 电脑知识与技术 Vol.8, No.8, March 2012. Tel:+86-551-5690963 5690964 一种词法分析与字标注分词结合的方法 黄小斌，余悦蒙 （厦门大学信息科学与技术学院，福建厦门361005） 摘要：提出了一种新的字位置信息标记，使用该标记可以实现字标注分词和词性分析的一体化。通过设计一套包含了词性信息的 字位置信息标记，在训练前对训练语料进行改造，将训练语料转化成用新标记标注的语料，然后根据转化的结果进行训练，并用训 练产生的隐马模型(HMM)对待分词字符串进行字标注，最后找出最大概率路径作为分词结果，该分词结果同时也包含了词法分析 的结果。该文将隐马模型中的viterbi 算法修改成N-viterbi 算法，采用N-viterbi 算法可以实现查找分词图中的前N 条最大概率路 径。实验表明，该模型可以较准确的完成分词操作，同时可以产生有一定引导作用的词法分析结果。 关键词：分词；词法分析；字标注；N-viterbi ；隐马模型；一体化 中图分类号：TP301 文献标识码：A 文章编号：1009-3044(2012)08-1814-04 AMethodtoDoLexicalAnalysiswhileWord-positionTagging HUANG Xiao-bin, YU Yue-meng (School of Information Science and Engineering, Xiamen University, Xiamen 361005, China) Abstract:A new kind of tags for the word-position tagging. word-position tagging and lexical analysis integration can be achieved using the new tags. the new kind of tags contains both the lexical information and the word-position information, before the training process, modify the trainning data using the new tags,then train the word segment model with the modified trainning data,after the trainning fin⁃ ished,use the model to do a word segment process on a sentence,then get the result from the model.the result will be both the word seg⁃ ment result and the lexical analysis result .This article also changed the viberti algorithm of HMM into N-viberti,which can find the top N results of a word segment graphy. Experiments show that through the model,we can get a good word segment result,and a lexical analysis result in the same time, though the accuracy is still relatively low . Keywords:word segmentation; lexical analysis; word-position tagging; N-viterbi; Hidd