基于Viterbi改进算法的高棉语分词研究.pdfVIP

第37卷 第 15期 计 算 机 工 程 2011年 8月 VOll_37 No．15 ComputerEngineering August2011 · 人工智能及识别技术 · 文章编号：1o0_3428(2011)15— 174．_o3 文献标识码：A 中图分类号：TP391 基于Viterbi改进算法的高棉语分词研究 蒋艳荣 ，刘习文 ，陈耿涛 (1．广东工业大学计算机学院，广州 510006；2．湘潭大学机械工程学院，湖南 湘潭 411105； 3．广东国笔科技股份有限公司，广州 510620) 摘 要：采用最大匹配算法对高棉语进行分词准确率较低 ，且难以正确识别词库中没有的新词。针对该问题，采用改进的Viterbi算法，利 用自动机实现音节切分，通过最优选择及剪枝操作提高分词效率，以统计语言模型对未知新词进行数据平滑，提高识别正确率。实验结果 表明，改进的Viterbi算法具有较高的分词效率和准确率。 关健诃：Viterbi算法；最大匹配算法；分词；高棉语；剪枝；统计语言模型 Research0fKhmerW ordSegmentation Based0nImprovedViterbiAlgorithm JIANGYan-rong，LIUXi-wen，CHENGeng-tao (1．FacultyofComputer,GuangdongUniversityofTechnology，Guangzhou510006，China； 2 SchoolofMechanicalEngineering，XiangtarlUniversity，Xiangtan411105，China； 3．GuangdongGnobiCorporationLtd．，Guangzhou5106；0，China) [Abstract]TheaccuracyofKhmerwordssegmentationformaximummatchingalgorithmisrelativelylow,anditisdifficultforthisalgorithmto recognizewordsthatarenotenrolledjnitsdictionaryTosolvethisproblem，allimprovedViterbialgorithm isproposed．Whereinautomationisused ofrsyllablesegmentation，optimizationselectionandpruningmethodsareusedtopromotehtesegmentationeffi ciency，andhtestatisticallanguage modelisadoptedtoperform datasmoothofrunknownwordsinthisapproach．ExperimentalresultsindicatethathteimprovedViterbialgorithm has higheraccuracyandeffi ciency． [Keywords]Viterbialgorithm；maximummatchingalgorithm；wordsegmentation；Khmer；pruning；statisticallanguagemodel DOI：10．3969j／．issn．1000—3428．2011．15．055 l 概述 2 基于Viterbi改进算法的Khmer词切分 高棉语(Khmer)又称柬埔寨语，属于南亚语系，在柬埔寨 2．1 二元文法 有大约90％的人口使用高棉