中文分词技术地研究.pdfVIP

第23卷第3期 电脑开发与应用 文章编号：1003—5850(2010)03—0001—03 中文分词技术的研究 ResearchonChineseWord SegmentationTechniques 刘红芝 (徐州医学院图书馆 江苏徐州 221004) 【摘要】对中文分词的主要算法进行了研究，阐述了中文分词中存在的困难及其解决方法，最后指出了中文分 词的未来研究工作。 【关键词】中文分词，算法，歧义，未登录词，停用词 中图分类号：TP391 文献标识码：A ABSTRACTThis themain ofChineseword difficultiesinChineseword paperanalyzes ambiguities segmentation，elaborates andtheir solutions，and outthe inChineseword andthefutureresearch segmentation finallypoints existingproblems segmentation work． KEYWORDSchineseword segmentation，algorism，ambiguity，unknownword。stop-word 随着因特网上信息给人们带来方便的同时，也存 至关重要的因素。众所周知，中文文本与英文文本的表 在信息查找不便、不良信息过多等弊端，信息过滤技术 示方法有所不同，英文文本中词与词中间都由空格或 应运而生。信息过滤口]就是根据用户的信息需求，利用 标点符号隔开，因而词与词之间的界限很明显，可以很 一定的工具从大规模的动态信息流中自动筛选出满足 容易地获取关键词，而中文文本中词与词则无明显的 用户需求的信息，同时屏蔽掉无用信息的过程。目前很 界限，这就影响了关键词的获取和匹配[3]。 多信息过滤系统的设计都是基于内容的过滤，即查找 3分词的主要算法 信息文本中是否含有特征词库中设置的关键词。这种 设计思想符合人们正常的思维习惯，比较容易实现。但 中文分词技术属于自然语言处理技术的范畴，是 是在实际应用中，特别是在处理中文信息的时候由于 语义理解过程中最初的一个环节，它将组成语句的核 缺乏中文策略，处理结果很难让人满意。 心词提炼出来供语义分析模块使用，在分词的过程中， 因此，进行中文信息过滤，首先就要对文本预处 如何能够恰当地提供足够的词来供分析程序处理，计 理，进行中文分词，将其表示成可计算和推理的模型。 算机如何完成这一过程?其处理过程就称为分词算法。 中文分词是中文文本过滤的首要基础性工作、难点问 现有的分词算法按照是否使用分词词典来分，可 题，也是自然语言信息处理中最基本的一步。 分为基于词典的分词算法和基于无词典的分词算 法[．]。基于词典的分词算法的分词精度在很大程度上 1中文分词技术 依赖于分词词典的好坏，基于无词典的分词算法不需 将连续的字序列按照一定的规范重新组合成词序 要利用词典信息，它通过对大规模的生语料库进行统 列的过程被称为分词；中文分词就是把中文的汉字序 计分析，自动地发现和学习词汇，从分词精度来看，基 列分成有意义的词[2]。分词只是中文信息处理的一部 于词典的分词算法要