基于自然标注信息和隐含主题模型的无监督文本特征抽取.pdfVIP

第29卷第6期 中文信息学报 V01。29。No．6 NOV．，2015 2015年11月 CHINESEINFORMATIONPROCESSING JOURNALOF 文章编号：1003—0077(2015)06-0141～09 基于自然标注信息和隐含主题模型的无监督文本特征抽取 饶高琦1’2，于东1，苟恩东1 (1．北京语言大学大数据与语言教育研究所，北京100083；2．中国语言政策与标准研究所，北京100083) 摘 要：术语和惯用短语可以体现文本特征。无监督的抽取特征词语对诸多自然语言处理工作起到支持作用。该 文提出了“聚类一验证”过程，使用主题模型对文本中的字符进行聚类，并采用自然标注信息对提取出的字符串进行 验证和过滤，从而实现了从未分词领域语料中无监督获得词语表的方法。通过优化和过滤，我们可以进一步获得 了富含有术语信息和特征短语的高置信度特征词表。在对计算机科学等六类不同领域语料的实验中，该方法抽取 的特征词表具有较好的文体区分度和领域区分度。 关键词：自然标注信息；自然语块；隐含主题模型；领域特征；文体特征 中图分类号：TP391 文献标识码：A TextFeatureExtractionBasedonNaturalAnnotationandLatent Model Unsupervised Topic RAO Gaoqil～，YUDon91，XUNEndon91 andCulture of and 100083，China； (1．BeijingLanguage University，InstituteBigDataLanguageEducation，Beijing 2．InstituteforChinese Policiesand 100083，China) Language Standards，Beijing Abstract：Textfeaturesareoftenshownitstermsand extractioncan various by phrases．Theirunsupervised support natural a“Cluster-Verification”methodtO thelexiconfromraw languageprocessing．Wepropose gain corpus．by latent modelandnatural isusedtoduster wefilterand combiningtopic annotation．Topicmodeling strings，while itsresultnaturalannotationsinraw isfoundinthelexiconwe wellas optimize by corpus．Highaccuracy gained，as on domainsand ofthe on6kindsofdomain goodperformance writing describing styles texts．Experiments corpora