基于主题扩展的领域问题分类方法-论文.pdfVIP

第 42卷 第 9期 计 算 机 工 程 2016年 9月 Vo1．42 NO．9 ComputerEngineering September20I6 · 人工智能及识别技术 · 文章编号：1000-3428(2016)09-0202-06 文献标志码：A 中图分类号：TP18 基于主题扩展的领域 问题分类方法 张 青，吕 钊 (华东师范大学 计算机科学技术系，上海 200241) 摘 要 ：领域问题分类在问答系统 中 占有重要地位 ，但 目前面向特定领域的研究较少 。针对领域问题文本篇幅较 短 、数据稀疏 的特点 ，提 出基于主题扩展 的领域 问题分类方法 。该方法主要包括特征选择和特征扩展 2个部分 。 利用卡方统计量特征选择方法 ，将 问题文本选择 的特征词作为特征扩展的依据 。通过潜在狄利克雷分配主题模型 对外部知识库进行分析，得到对应的主题分布。为避免引入噪声主题，采用主题熵的方法得到优质主题。将优质 主题下所覆盖的词扩充到问题文本 中，最后利用支持 向量机分类器对 问题文本进行分类 。实验结果表 明，与传统 TFIDF文本分类方法相 比，该方法分类效果较好 ，可提高问答系统 的性能 。 关键词：领域问题分类；数据稀疏；特征选择；主题模型；优质主题 ；特征扩展 中文引用格式：张 青 ，吕 钊．基于主题扩展的领域 问题分类方法 [J]．计算机工程，2016，42(9)：202—207，213． 英文引用格式 ：ZhangQing，LtiZhao．DomainQuestionClassificationMethodBasedonTopicExpansion[J]．Computer Engineering，2016，42(9)：202—207，213． DomainQuestionClassificationMethodBasedonTopicExpansion ZHANG Qing，LO Zhao (DepartmentofComputerScienceandTechnology，EastChinaNormalUniversity，Shanghai200241，China) 【Abstract】DomainquestionclassificationplaysacentralroleinQuestionandAnswering(QA)systems．Lotsof currentresearch work on question classification focuseson open domainswhile few ofthem paysattention to special domains．Thedomain questionsare alwaysshortand have the issue ofdata sparseness．Hence，thispaperproposesa method fordomainquestion classificationbased ontopicexpansion．Thisalgorithm mainlyconsistsoftWO components： featureselection andfeatureexpansion．Itfirstextractsfeaturewords，which arethebasesoffeatureexpansion，from raw questiontextthroughfeatureselectionmethodCHI．Then itusesLatentDirichletAllocation(LDA)topicmodelto analyzetheuniversaldatasetto obtain the topic distribution．To avoid noisy topics，thispaperadoptstopic entropy to obtainhigh quality topics．Finally，it