基于互信息的中文完整词自动识别模型.pdfVIP

基于互信息的中文完整词自动识别模型*) Chinese Word Automatic ModelBasedonMutualInformation IntegritySegmentationRecognition 王芳万常选 (江西财经大学信息管理学院 南昌330013) (江西财经大学数据与知识工程江西省高校重点实验室 南昌330013) word is ofthemost inChinese AbstractChinese one informationretrieval，and segmentation importantparts key anddifficulties．sincesomewordsare wholly tO themore andmore problems put togethercompose integritymeaning mindininformationretrieval，weforwardaChinese word automatic put segmentation expressusers’query integrity modelbasedonmutualinformationtOthecharacteristicsofthe words，afterwedis— recognition according integrity CUSSthreemain teston2甜SIGHAN(2005)PKUtest showsthatthe segmentationmodels．Finally corpus precision ofthismethodiS98．69％onraw corpus． Mutual WOrd Keywords information，Automaticrecognition，Chinesesegmentation 那些具有完整意义需组合在一起的词称为完整词， 1 引言 即完整词是表达一个完整意思的连续n个词的整体 随着信息时代的到来，信息检索在人们的生产 (n∈N且n≥1)；与之对应，将那些组合成完整词 生活各个方面已经起着越来越大的作用。 的基本要素词称为基本词。 经过几十年的研究，中文自动分词技术已取得 2．1主流自动分词模型 了令人瞩目的成果[1|。例如，文[4IN用句内相邻字 (1)N元模型(N-gram)’ 之间的互信息及t-测试差这两个统计量计算其成词 N元模型的基本思路是【2]：设硼i是文本中的 的可能性，解决交集型歧义字段的切分；文E6]使用 任意一个词，如果已知它在该文本中的前两个词 基于最大似然概率的层叠隐马尔可夫模型分类处理 Wi—z础一。，便可以用条件概率P(wlWi一。训H)来预 分词。对于分词长度应使用何种粒度的问题，已经 测砒出现的概率。一般来说，如果用变量w代表 开展了一些研究，例如，文[33中指出分词长度对检 文本中一个任意的词序列，它由顺序排列的，z个词 索的查准率和查全率有着较大的影响；文E5]