基于词效应的中文术语提取方法.pdfVIP

基于词效应的中文术语提取方法 刮俊杰1吴树国1伊胜伟2 1.北京工业大学计算机学院，北京100124 2.北京航空航天大学软件开发环境国家重点实验室，北京 100191 摘要：翻译项目中翻译文档的分词效果的好坏直接 决定了翻译的质量。目前存在的统计分词方法如互 信息、t-测试度、接续指数等对高频词的提取并不 理想。论文分析了现有的统计分词的方法，改进了 互信息计算的方法，结合t-测试度、接续指数，提 出了一个综合统计量-词效应。以词效应为基础，提 出了一种中文术语提取方法。实验分析表明，基于 词效应的中文术语提取方法能够提取出待翻译文 档中的术语，并且不需要对文档进行任何预先处 理。 关键词：统计分词 ;互信息 ；t测试度 ；词效应 ； 正向最大效应分词 (： ji车的可能巾 自的词征吲 L术语提肆 r值的术锭 张春霞， [J].Joum, FeiHong WordSe~ AMethodofExtractingChineseTermbasedon TermEffect GuaJunjie1WuShuguo1YiShengwei2 1.CollegeofComputerScienceandTechnology, BeijingUniversityofTechnology,Beijing100124, China 2.NationalLaboratoryofSoftwareDevelopment Environments,BeihangUniversity,Beijing100191, China Abstract:Thequalityoftranslatingisbyaffectedby theresultofwordsegmenting.Theexistingmethods usedbystatisticsegmentationsuchasConcatenation Index,t-testandMutualInformationarenotgood sufficient.Thisessayanalysestheseword-segmenting methodsandalsofurtherimprovethemethodof Mutual Information, in combination with the advantageoft-testandConcatenationtocreatea methodofChinesecharacterabstracting.Basedonan experiment,character-basedChinesetextcanbe abstractedastermfortranslation,andthus,noneedis conductedtopre-translatethetext. Keywords:statisticsegmentation ;mutualinformation ; t-test(,)termeffect;forwardmaximummatchingbased ontermeffect