语料库自然标注信息与中文分词应用研究.pdfVIP

北京大学学报(自然科学版)，第49卷，第1期，2013年1月 ActaScientiarum NaturaliumUniversitatis Pekinensis，V01．49，No．1(Jan．2013) NaturalAnnotation Researchin Large—ScaleCorpora withaFocusonChineseWord Segmentation RAO Chi，XUN Gaoqi，XIU Endongt ofInformation andCulture College Science，BeringLanguage University，Beijing100083； tCorresponding author，E-mail：edxun@blcu．edu．cn AbstractThedistributionand ofnatural meaning annotationsOn datasetsarediscussed．The large proposed researchOnwordextractionthe shows ofboth and naturalannotationinword positive potential implicitexplicit onwordextractionindicatesthatthe naturalannotationderivedfrom segmentation．Experiments implicit language lawsand aremore in characterinraw patterns powerfulsplitting strings corpora． words natural word Key annotation；Chinese segmentation；wordextraction；large．scalecorpora 语料库自然标注信息与中文分词应用研究 饶高琦修驰荀恩东+ 北京语言大学信息科学学院，北京100083：f通信作者，E-mail：edxun@blcu．edu．cn 摘要 以中文分词为应用目标，将大规模语料库上存在的自然标注信息分为显性标注信息与隐性标注信息， 分别考察了它们的分布和对大数据集上语言计算的影响。结果表明，两者都直接或间接地表达了作者对语言 的分割意志，因而对分词具有积极的影响。通过词语抽取测试，发现在缺乏丰富显性标注信息的文本中，来 自语言固有规律的自然标注信息对字符串有着强大的分割性能。 关键词 自然标注信息；中文分词；词语抽取；大规模语料库 中图分类号TP391 annotated a tafionachieved butalso Manually corporaplaysignificant