条件随机场标引模型的性能影响因素分析.pdfVIP

维普资讯 条件随机场标引模型的性能影响因素分析 章成敏 许 鑫 章成志 ’’ 南京大学信息管理系 南京 210093 中国药科大学图书馆 南京 210009 华东师范大学信息学系 上海 200241 南京理工大学信息管理系 南京 210094 中国科学技术信息研究所 北京 100038 【摘要】利用条件随机场模型进行 自动标引研究，对文本分词性能、训练集的规模、特征的个数、模型本身的参数 设置等影响模型标引性能的因素进行实验和分析。 【关键词】自动标引 关键词提取 条件随机场 机器学习 【分类号】TP391 G252 AnalysisoftheFactorsAffectingthePerformanceofCRF——based KeywordsExtractionM odel ZhangChengmin XuXin ZhangChengzhi’ DepartmentofInformationManagement，NanjingUniversity，Nanjing210093，China LibrauofChinaPharmaceuticalUniversity，Nanjing210009，China DepartmentofInformatics，EastChinaNormalUniversity，Shanghai200241，China DepartmentofInformationManagement，NanjingUniversityofScienceTechnology，Nanjing210094，China InstituteofScientificTechnicalInformationofChina，Beijing100038，China 【Abstract】TheCRFmodelcanusethefeaturesofdocumentsmoresufficientlyandeffectively．Keywordsextraction basedon CRF isproposedandimplemented．ThefactorsaffectingtheperformanceoftheCRF—basedkeywordextraction modelareanalyzed．Thefactorsinclude：theperformanceoftextsegmentation，thescaleoftrainingcorpus，thenumberof figureandtheparameterssettingoftheCRFmode1． 【Keywords】Automaticindexing Keywordsextraction Conditionalrandomfields Machinelearning 1 引 言 目前大多文档都不具有关键同，同时手T标引费时费力且主观性较强，因此关键词 自动提取是一项值得研 究的技术。关键词 自动提取方法可 以分为4类，即：基于统计的方法 、基于语言学的方法 、基于机器学习的方 法 ’、其他方法，即上述方法的综合运用或集成一些启发式知识 。 一 般的关键词 自动提取方法，大多数不能有效利用文本中包含的多个特征，要真正实用化还有一定距离。为 了有效利用标引对象的特征，并考虑到关键词提取可以转换为序列标注的特点，本文利用条件随机场模型进行关 键词的自动提取研究。对文本分词性能、训练集的规模、特征的个数、模型本身的参数设置等影响模型标引性能 收稿 日期 ：2008一Ol一31 收修改稿 日期：2008—03—06 圜 现代图书情报技术 维普资讯 总第 165期 2008年 第6期 的因素，进行实验和分析。