基于规则的中文语料库分词一致性处理研究.pdfVIP

基于规则的中文语料库分词一致性处理研究1 苗玺郑家恒 山西大学计算机与信息技术学院030006 e—mail：miaoxi@sxu．edu．cn 摘要：建设高质量的大规模语料库足中文信息处理领域的基础性工程，保证语料库分词结果的一致性 是衡量语料库分词质量的重要标准之一。 本文对150万汉字熟语料进行了统计分析：定义了语料库中分词 结果不一致的主要结构类型；采用基于规则的策略检验校对相同语境下相同字串的分词一致性。对150万汉 字语料库的封闭测试，正确率为86．94％。 关键词： 分词一致性自动分词中文信息处理 TheRule—based On Of Proofreading StudyConsistency for Chinese Segment Corpus MiaoXi ZhengJiaheng Schoolof ofShanxi 030006 ComputerInformationTechnologyUniversity e-mail：miaoxi@sxu．edu．cn Abstract：ItiSafundamentalworkinthefieldof Information buildthe CIP(Chinese Processing)to and the of isa standardfor large-scalehigh-quailtycorpus．Andensuringconsistencysegmentimportant valuing and which the ofthe isonthebasicofstatistic ofone in thereare1．5 quality corpus．Thispaper analysis corpus millionChinese definesthemain ofstructureforthe the characters，and types segmentinconsistency,andadopts and theconsistenceofthesame ofChinesecharactersinthesame rule·based tocheck strategies proofread string done to86．94％． closetestshasbeen onthe correct languagesurroundings．The corpus，theprobabilitygets r ChineseInformation consistence，automatic Processing KeyWords：segment segment 1 引言 建设高质量的大规模语料库是中文信息处理领域的基础性工程。语料库的建立为语言学 的研究提供了丰富的语言现象；为计算语