汉语分词技术综述.pdf

维普资讯 第19卷 第3期 北 京 机 械 工 业 学 院 学 报 Vo1．19No．3 2004年9月 JournalofBeijingInstituteofMachinery． Sep．2004 文章编 号：1008—1658(2004)03—0052—04 汉语分词技术综述 龚汉明，周长胜 (北京机械工业学院 计算机及 自动化系，北京 100085) 摘 要：分词是中文信息处理的基础，在汉语文本分类、文献标引、智能检 索、自然语言理解与处理等应用中，首先都要对中文文本进行分词处理。从分词的基 本理论出发，对近年来的汉语分词的研究方法与成果进行了综合论述，分析了现有分 词方法的特点，提出了把神经网络和专家系统结合起来建立集成式汉语 自动分词系 统的构想。 关 键 词：分词；文本分类；神经网络；专家系统 中图分类号：TP311 文献标识码：A Chinesewordsegmentationsystem research GONGHart—ming，ZHOUChang—sheng (DepartmentofComputerScience＆Automation，BeijingInstituteofMachinery，Beijing100085，China) Abstract：WordsegmentationisthebasisofChineselanguageprocessing，whichiswidelyappliedin textclassification，literatureindex，intelligentretrievalandnaturallanugageprocessing．Basedon htehteoryoftheChinesewordsemg enattion，anoverviewofhteChinesewordsemg enattiontechnol— ogyispresented，hteexistentChineseWordSemg enattionSystem isanalyzednadna automaticword semg entationalgorihtm derivedfrom artificialneuralnetworkandexpe~system isputforward． Keywords：wordsemg enattion；textclassification；artificialneuralnewtork；expe~system 现代信息技术的发展要求用户有选择地阅读和处理海量文本，因此其预备工作——分词 系统的研究是很有意义的。分词系统是中文信息处理中的一个主要组成部分，是中文自然语 言理解、文献检索、搜索引擎以及文本挖掘系统中最基本的一部分。为了进行中文信息小型 化，需要提取关键知识，也就是说首先要分隔出单个的中文词语，然后才能进行词频统计、文本 分类以及知识发现等工作，从而得到目标文献中用户需要的信息。该文主要对汉语分词技术 进行了概述，并在考察分词精度和分词知识的基础上，探讨了一种基于神经网络专家系统的 自动分词算法，旨在通过新的分词方法提供更加准确的分词率，同时提高系统实现效率。 1 分词的必要性 汉语的中文信息处理就是要 “用计算机对汉语的音、形、义进行处理。”L2我们还知道， “词是最小的能够独立活动的有意义的语言成分。”L3计算机的所有语言知识都来自机器词典 收稿日期：2004—06—18 作者简介：龚汉明(1978一)，男，江西进贤人，北京机械工业学院计算机与自动化系硕士研究生，主要从事数据挖掘、中文分 词方面的研究。 维普资讯 第3期 龚汉明等：汉语分词技术综述 53 (给出词的各项信息)、句法规则(以词类的各种组合方式来描述词的聚合现象)以及有关词和 句子的语义、语境、语用知识库。然而，汉语文本中词与词之间却没有明确的分隔标记，而是连 续的汉字串。切词体现了汉