分词语料库中的并列式四字格识别.pdfVIP

ComputerEngineeringandApplications计算机工程与应用 2010．46(4) 139 分词语料库中的并列式四字格识别 徐润华，陈小荷 ，李 斌 XU Run—hua，CHEN Xiao—he，LIBin 南京师范大学 文学院，南京 210097 CollegeofLiberalArts，NanjingNormalUniversity，Nanjing210097，China E—mail：runhuaxu@hotmail．com XU Run-hua，CHEN Xiao-he，LIBin．Recognition ofparallelfour-characteridiomsin word-segmented corpora．Computer EngineeringandApplications，2010，46(4)：139-141． Abstract：AmongallkindsofChinesefour—characteridioms，theParallelFour—CharacterIdiom (PFCI)isspecialandnumerous． ThispaperintroducestheresearchbasedonConditionalRandom Fields(CRF)modelwhichcanretrievePFCIfrom aPOS— tagged corpus．The paperthen analyzesthe structuralcharacteristics ofPFCIand proposes an approach on recognizing PFCIin word—segmented corpora．By comparing its application on different corpora，the evaluation results show thatthis recognition ap- proach maintainsrelatively high precision and good adaptability． Key words：four-characteridioms；conditionalrandom fields；segmented fragments；parallelfour-characteridioms 摘 要：并列式四字格是一种特殊却数量众多的四字格。介绍了在有词性标注语料库 中基于条件随机场模型的四字格抽取工作， 并在此基础上分析了并列式四字格的结构特点，提 出了一种基于分词语料库环境的并列式四字格识别方法。通过不同语料库间的 对比实验，结果表明该qT,~Ji】方法具有比较好的精确度和一定的适应性。 关键词：四字格；条件随机场模型；分词碎片；并列式四字格 DOI：10．3778~．issn．1002—8331．2010．04，045 文章编号：1002—8331(2010)04—0139—03 文献标识码：A 中图分类~：TP391．1 1 四字格和语料库中的四字格 格识别工作的重点所在。 “四字格”，顾名思义是指由四个汉字组成的一种语言格 式。“四字格”这个术语最早源于陆志韦先生 1956年的 《汉语的 2 基于crf模型和有词性标注语料库的四字格抽取 并立四字格》一文。在汉语言发展的历史中，四字格的形式起着 2．1 crf模型中四字格的特征列 非常重要的作用。 “四字格”结构灵活多变 ，结构的能产性和派 cff模型，即条件随机场模型，是一个可定制的开源代码模 生性者l5彳艮强，到了今天，现代汉语词汇系统不断发展，利用四字 型，目前广泛应用于 自然语言处理的各类任务中。在用于切分 格模式创造出的新词数量在现代汉语词汇中仍然呈上升趋势 ， 和标注序列数据的时候，条件随机场总是可以取得非常好的效 汉语的四字格 ，特别是并列式四字格结构的数量有增无减。由 果 ，因此，分词及词性标注是条件随机场最常见的应用领域之 于四字格结构的派生性、动态性 ，使得对四字格结构的研究不 一 。 可以把四字格的抽取过程想像为一种特殊的词性标注：给 能仅仅局限于文献和理论，而应该将 目光更多地投向语料库 ， 每个分词单位一个标记，该标记用于表明分词单位是或者不是 投向大量真实文