基于数据挖掘思想的网页正文抽取方法地研究.pdfVIP

基于数据挖掘思想的网页正文抽取方法的研究 蒲宇达，关毅，王强 (哈尔滨工业大学，计算机学院；黑龙江．哈尔滨) 摘要： 为了把自然语言处理技术有效的运用到咧页文档中，本文提出r一种依靠数据挖掘思想，从中文新闻娄阀页中抽取 正文内容的方法。该方法将阿页源代码进行线性化重构，然后利用重构后的代码进行网页噪声的初步去除，再经过文奉分类， 聚类得到网页正文的脉络段落，最后通过吸收伪噪声段落生成网页正文。该方法克服了传统的网页内容抽取方法需要为网页结 构建树的缺点，具有简单、快速、准确的特点，试验表明该方法的抽取准确率可以达到99％以上。 关键词： 网页内容抽取；数据挖掘；自然语言处理 InformationExtractionfromWeb Basedon Page Data MiningThought PU YuDa，GUANYi，WANG Qiang (mptofComputerScienceandTechnology,HarbinInstituteofTeehnology；Heilongjiang，lIarbin) a for from Abstract：This textcontentChinesenewsWeb withdata The paperproposesapproachextracting pages miningthought isto natural totheWcb documents．ThisreconstructstheWeb purposeeffectivelyapply languageprocessingtechnologiespage approach offtheWebnoises then source fromthesource doestextclassificationand to the page linearly，wipes subsequently，and clustering get skeletonoftheWebcontentand曲sorbthefakenoisetocreattheWebtext overcomesthedefeetthattraditional finally．Thisapproach Web extractsthecontent itismore andmore the ofthis a慨so page bymaking simple，quickercorrect．Throughexperiment，theaccuracy canreachto99％． approach content Keywords：Webextraction；datamining；natural languageprocessing 1引言 互联网的飞速发展给信息抽取技术的研究带来新的机遇和挑战。随着数据信息库积累的数据越来越多，怎样 快速、有效、经济地检索到某个主题的所有相关信息就成了一个当前十分热门的课题之一。由于不同网站的网页