基于文本密度模型的Web正文抽取.pdfVIP

第 26卷 第7期 模式识别与人工智能 V01．26 No．7 2013年 7月 PR AI Jul 2013 基于文本密度模型的Web正文抽取木 朱泽德 ， 李 淼 张 健 陈 雷。 曾新华。 (中国科学技术大学 自动化系 合肥 230026) (中国科学院合肥智能机械研究所 合肥230031) 摘 要 为从大量无关信息中获取有用内容 ，正文抽取成为Web数据应用不可或缺的组成部分．文中提出一种基 于文本密度模型的新闻网页正文抽取方法．主要通过融合网页结构和语言特征的统计模型，将网页文档按文本行 转化成正、负密度序列，再根据邻近行的内容连续性，利用高斯平滑技术修正文本密度序列，最后采用改进的最大 子序列分割序列抽取正文内容．该方法保持正文完整性并排除噪声干扰，且无需人工干预或反复训练．实验结果表 明基于文本密度抽取正文对不同数据源具有广泛的适应性 ，且准确率和召回率优于现有统计模型． 关键词 Web挖掘，正文抽取，文本密度 ，高斯平滑，最大子序列 中图法分类号 TP391 W eb ContentExtractionBased onTextDensityM odel ZHUZe．De．-，LIMiao ，ZHANGJian ，CHENLei，ZENGXin．Hua (DepartmentofAutomation，UniversityofScienceandTechnologyofChina，Hefei230026) (InstituteofIntelligentMachines，ChineseAcademyofSciences，Hefei230031) ABSTRACT In orderto obtain usefulcontentencompassedby alargenumberofirrelevantinformation，the contentextractionbecomesindispensableforwebdataapplication．Anapproachofwebcontentextraction basedon thetextdensitymodelisproposed，which integratespagestructurefeatureswith language featurestoconve~ textlinesofpagedocumentintoapositiveornegativedensitysequence．Additionally， theGaussian smoothing technique isused torevise the density sequence，which takesthe content continuityofadjacentlinesintoconsideration．Finally，theimprovedmaximumsequencesegmentationis adoptedto splitthesequenceand extractweb content．Withoutanyhuman intervention orrepeated trainings，this approach maintainsthe integrity of contentand eliminates noise disturbance． The experimentalresultsindicatethattheweb contentextractionbasedon thetextdensitymodeliswidely adaptedtodifferentdatasources，andbothaccuracyandrecallrateoftheproposedapproacharebetter thanthoseexist