利用加权特征模型改进问句分类介绍.pdfVIP

浙 江 大 学 学 报 (工学版) 第 43卷第 6期 JournalofZhejiangUniversity(EngineeringScience) V01．43No．6 2009年 6月 Jun．2009 DOI：10．3785／j．issn．1008973X．2009．06．005 利用加权特征模型改进 问句分类 黄 鹏 ，I、佳俊 ，陈 纯 ，康志明 ，陈 伟 ，胡洪涛。 (1浙江大学 计算机科学与技术学院，浙江 杭州 310027；2浙江丽水 电业局 ，浙江 丽水 323000) 摘 要 ：为 了减少 目前大多数问句分类算法 由于采用了布尔特征模 型所导致的特征信息损失 ，提出了一个基于 网 络和聚类技术 的加权特征模型来表达问句的特征空间．不同于以往采用的布尔特征模 型将特征赋值为 0或 1以表 示相应特征 出现与否 ，新的加权特征模型将特征加权为一个位于 区间 O～1．0的一个实数 ，以区分不 同的特征对于 问句分类 的贡献 ：权值越大 ，相应特征对于区分 问句 的类型做 出的贡献越大．试验结果表 明，该加权特征模型在 问 句分类领域优于之前被广泛使用 的布尔特征模型． 关键词 ：问句分类 ；特征加权 ；聚类 ；信息熵 中图分类号 ：TP39l 文献标识码 ：A 文章编号 ：1008—973X(2009)06—0994—05 Improvingquestionclassification viaweighted featuremodel HUANGPeng ，BU Jia—inn，CHEN Chun ，KANGZhi—ming， CHEN W ei。HU Hong—tao (1．CollegeofComputerScienceandTechnology，ZhejiangUniversity，Hangzhou310027，China； 2．ZhejiangLishuiElectricPowerBureau，Lishui323000，China) Abstract：A novelfeatureweighting modelbasedoninternetand clustering techniqueswasproposed to m itigatetheissueOffeatureinformation lOSSstemming ftom thebinaryfeaturemodelemployed inmost currentquestionclassificationalgorithms，inwhichfeaturesareassociatedwithweightsinarangeof0～ 1．0，ratherthansimplebinaryvaluesinthebinaryfeaturemode1．Theseweightscanbeusedtoquantify features’contributiontoquestionclassification．Featureswithlargerweightsshouldbemorecontributable tothequestionclassification．Theexperimentalresultsshow thattheproposed featureweighting model outperformsthewidelyusedbinaryfeaturemodelinthetaskofquestionclassification． Keywords：questionclassification；featureweighting；clustering；informationentropy 问答系统是指这样一个机器系统 ：对于用户通 等人ll的研究结果表明，问答系统 中有 36．4 的错 过 自然语言输入的问句 ，它能够给出简洁、准确、人 误直接来源于问句分析模块 ，因此近年来有许多研 性化的回答 ，这种