基于Bootstrapping的领域词汇自动获取.PDFVIP

基于Bootstrapping的领域词汇自动获取’ 陈文亮朱靖波姚天顺 张宇新 自然语言处理实验室，网络学院 东北大学信息学院计算机软件与理论研究所 辽宁沈阳 110004 maiLche_n塑回majLneue.du_.cnsiteh细左wM. qjabo.cm/ 摘 要:领域知识获取是文本处理技术中的一个瓶颈问题，本文提出一种领域词汇的自动获取方法。该方法 采用Bootstrapping的机器学习技术，从大规模无标注真实语料中，自动获取领域词汇知识.该方法独立于 具体领域，移植性好.文中给出了该方法的详细描述.最后，根据实脸结果，对该方法的性能进行评估.实 验结果显示，从人民日报语料中学习效果比专业领域语料好. 关键词:Bootstrapping，机器学习，主题识别 AutomaticLearningFieldWordsbyBootstrapping ChenWenliangZhuJingboYaoTianshun NaturalLanguageProcessingLab InstituteofComputerSoftwareTheory,NortheasternUniversity,Shenyang110004 Abstract:Thispaperpresentsanautomaticlearningalgorithmthatacquiresfieldwords.Themethodisbasedon bootsrtapping.Theinputtothealgorithmisahandfidofseedwordsandunannotatedtrainingtexts.Themethodis independentoffields,anditcanbeappliedonmanyfieldsforfieldwordslemming.hithispaperwedescnptFWB modelindetail.Accordingtotheexperiment,weevaluatetheperformanceofthemodel.Theresultspresentthatthey aregeneratedfromcc印usofPeoplesDailybetterthancorpusofspecialfields. Keywords:Bootsrtapping,MachineLearning,TopicIdentification 1.前言 主题分析是文本内容分析的一个基础关键技术。朱靖波等to曾应用领域知识于文本内容 主题分析中，取得了很好的效果。该主题分析方法的性能在很大程度上依赖于一个庞大的领 域知识库。1996年至今，我们己经构造了包含30多万项次的领域知识库，主要依靠人工构 建，代价十分巨大而且进展缓慢。领域知识库的完善能够大大促进主题分析的效果，但该知 识库面临如何扩大规模与增加多语种支持的问题。本文研究的出发点是利用机器学习的方法 来试图解决这些问题。 知识获取一直是自然语言处理的重要研究课题。目蒯民多著名的知识库主要依靠手工构 建，如WordNet[2l,HowNet31等。主内题的很多分析是如何文本内取知识容个的题进一大个 基础4[1516[1。关中Bootstrappinglllsl键是一技术。朱应用于知识内取的靖波分等技术，Ellen 本文揖到国家自然科学荃金和橄软联合资助项目资助 ‘幻 ， Riloilt9E)来构造信息抽取的知识库，DavidYarowskvl0用来进行语义消歧，等等。 本文提出一种自动获取领域词汇的方法。该方法采用Bootstrapping的机器学习技术，从 大规模无标注真实语料中，自动获取领域词汇知识。该方法独立于具体领域，移植性好。下 文给出该方法的形式化描述。最后，根据实验结果，对该方法的性能进行评估。 Z基本定义 在本文中，有如下重要概念: a)领域词k是指那些经常出现在特定领域中，且能够表现该领域特征的词，如:金融领域 中的证券、股票、金融、人民币、兑付期等词就具备这种特点，是金融领域词。领域词 集F是领域词的集合，即k=-(K.