典型参数平滑算法在词性标注中的性能评价，.pdfVIP

典型参数平滑算法在词性标注中的性能评价， 朱莉 孟遥 赵铁军 哈尔滨工业大学计算机科学与技术学院 哈尔滨 150001 Email:Ijulie,meng,tjzhaoln( 摘要:随着统计技术在自然语言处理领域的兴起，在语抖规模有限的情况下，参数平滑作为解决数据稀 疏问题的主要方法显得 卜分重要。本文分析了几种常用参数平滑算法的优劣，在英语词性标注中比较了这几 种算法的平滑效果。实验表明:在语料规模有限的情况下，线性插值和Katzs回退,l%泌较优。本文通过在 相同环境下对各算法的平滑效果的研究和实验。旨在为大家提供一个选择平滑算法的借鉴 关健字:数据稀疏，参数平滑，词性标注 ComparationofClassicalSmoothingMethodsin Part-of-SpeechTagging ZhuLiMengYao ZhaoTiejun SchoolofComputerScienceTechnology,HarbinInstituteofTechnology,Harbin,150001 Email:J{ulie,meng,tjzhaoC Abstract:Instatisticalnaturallanguageprocessing,parametersmoothingiscrucialtosolvedataparsecaused bylimitedcorpus.Thispaperanalyzesseveralpopularsmoothingmethodsandcomparedtheirperformancesin EnglishPOStagging.ExperimentsindicatethatlinearinterpolationKatzsperformthebest. KeyWords:Dataparse,Parametersmoothing,Part-of-Speechtagging 1研究背景和意义 随着自然语言处理的研究与发展，在早期的基于规则的自然语言处理方法之后，兴起了 基于统计技术的自然语言处理方法，即人们通过对标准的语料库进行一定需要的学习，从中 获取处理所需知识的方法。 其中，语料库((Corpus)是按照一定原则组织在一起的真实自然语言数据(包括书面语和口 语)集合，主要用于研究自然语言的规律，特别是统计语言学模型的训练以及相关系统的评价 和评测hl。由于语料库的规模和它所包含的语言现象有限，从而导致数据稀疏现象的产生， 这是制约基于统计的自然语言处理方法发展的重要因素。数据稀疏现象是指，在基于统计技 术的知识获取方法中，在语料库的规模不够大的条件下，大多数词或邻接词及各属性的搭配 在语料中出现的次数很少，甚至根本不出现的现象。即许多合法的、在未来的文本中可能要 遇到的标记在统计语料中出现的次数很小或从未出现过，从而造成知识短缺的现象121。在实 .本t研究受到国家863汁划资助c(JFjlH号2002AA117010-091 .103。 际研究中，数据稀疏的存在会产生大量空值，严重影响后续处理的性能和效果。为解决数据 稀疏带来的问题，大家很自然的想到扩大语料库的规模，而语料库的建设代价高，并且由Zipf 定0[1u扩大语料库对数据稀疏问题的解决是有限的·因此在有限MH,科规模些，__妙芥李严 空间的平滑算法就十分重要了。参数平滑即在训练数据不足够充分的条件下，采用某种方式 对统计结果和概率估计进行必要的调整和修补，以降低由于数据稀疏现象带来的统计误差。 随着自然语言处理对精度的要求越来越高，人们根据研究需要建立了许多解决数据稀疏 问题的参数平滑算法，为我们在实际的研究过程中提供了多种选择。但每种方法又有着各自 的优势，因此各种算法的平滑效果到底如何，在什么情况下适合选择什么样的平滑算法，成 为困扰大家的问题。本文通过在相同环境下对不同平滑算法的平滑效果的研究和实验，剖析 了儿种典型平滑算法的优缺点，旨在为大家提供一个选择平滑算法的依据。 2平滑算法概述 随着统计技术在自然语言处理领域的提出和日益广泛的应用，有限的语料库带来的数据 稀疏问题成为影响自然