基于决策树的汉语基本名词短语识别.pdfVIP

维普资讯 第 18卷 第2期 黑龙江工程学院学报 (自然科 学版) Vo1．18．NO．2 2004年 6月 JournalofHeilong3iang InstituteofTechnology JUN．，2004 文章编号 ：1671—4679(2004)02—0001—04 基于决策树的汉语基本名词短语识别 孟 迎 ，冯丽辉 ，赵铁 军 (1．昆明理工大学 信息与技术学院，湖南 昆明650093； 2．哈尔滨工业大学 计算机科学与技术学院 ，黑龙江 哈尔滨 150001) 摘要 ：提 出了一种基于汉语树库，采用决策树的方法识别汉语基本名词短语 。其核心思想为：从语料库 中 自动抽取基本名词短语的词性模板以及其相应的上下文信息，采用 ID3算法形成相应的决策树。该 方法有效地引入 了学习机制 ，提高了系统的性能和识别速度 ，具有较好的精确率和召回率。 关键词 ：汉语基本名词短语 ；决策树 ；语料库 中图分类号 ：H085 文献标识码 ：A DecisiontreebasedChinesebasenounphraseidentification MENGYing，FENGLi-hui，ZHAOTie-jun。 (1．CollegeofInformationandTechnology，KunmingUniv．ofSciencenadTechnology，Kunmin650093，China； 2．CollegeofComputerScienceandTechnoloyg，HarbinInstituteofTechnoloyg，Harbin150050，Chnia) Abstract： ThispaperpresentsaChinesetreebankbaseddecisiontreeapproachtoidentfiy ChineseBNP：A self-learningmechanism isintegratedintoourmodelwhichincludesthefol— lowingsteps：auto—extractionofPOSstringsequences(BNPrules)andtheircontextinforma— donfrom htecorporana dID3algorithm basedtreetraining．Experimentalresultsshow good performna cesofourmethod． Keywords：Chinesebasenounphrase；decisiontree；corpus 在 自然语言处理领域 ，名词短语对机器翻译 、 字，平均句子长度为20字。该模型结合了基本名词 文本检索、信息抽取和文本分类等应用领域起着重 短语句法组成与其出现的上下文环境特征，提高了 要的作用。本文讨论的是一种特殊的名词短语一基 基本名词短语识别的正确率和召回率。 本名词短语的识别问题 ，提出了一种基于汉语树 1 用决策树方法进行基本名词短语 库 ，采用决策树的方法识别汉语基本名词短语。参 识别 考了英文的定义方法 ，确定了基本名词短语的定 义 ，认为句子中的基本名词短语是动态的，而非独 1．1模型 的定义 立于句中的静态短语。对基本名词短语的定义是基 短语识别的输入是分词标注过的文本，输出是 于语料的把基本名词短语定义为不递归包含名词 识别出基本名词短语的文本。图 1概括描述了应用 短语的名词短语。它包括单个名词、没有任何修饰 决策树方法进行基本名词短语识