关于HTML标记用途分析的网页正文提取技术.pdfVIP

5187 计算机工程与设计ComputerEngineeringandDesign2010．31(24) ·网络与通信技术· 基于HTML标记用途分析的网页正文提取技术 常红要， 朱征宇， 陈 烨， 张鹏， 曾丽芳 (重庆大学计算机学院，重庆400044) 摘要：通过分析噪音数据特点和它所产生的影响，利用HTML的结构特征，提出了一种基于区域分块的HTML元素删除 法，可用于网页正文的自动提取。实验结果表明，该方法能有效地得到大多数HTML网页的主体内容部分。针对HTML文 件的解析方法不仅可以用于提取HTML文件的主体文本，也可以用于得到HTML文件中其它HTML元素的内容。 关键词：HTML网页；数据挖掘；内容抽取；噪音数据；元素删除法 中图法分类号：TP391文献标识码：A 文章编号：1000-7024(2010)24-5187—05 Contentextraction forweb basedon techniquepages HTML—tags CHANG Ye，ZHANG Hong—yao，ZHUZheng—yu，CHEN Peng，ZENGLi-fang 400044，China) (CollegeofComputerScience，ChongqingUniversity,Chongqing HTMLelement methodfor thecontentsofaweb basedona of Abstract：An deleting extractingautomatically page techniqueregion sub-blockis thedatanoisecharacteristicsandits onthecontentofaweb and thestnleture impact using proposedbyanalyzing pageby characte!Iistics showthatthenewmethodCallexwaet themainoftheeontenmofaweb ofHTML—tags．Theexperiments effectivelypart inmostcases．The methodforHTMLdocumentsCanbeusednot tOextractthetextofanHTML tag file， page analyzing proposed only otherHTMLelements． butalSOtoobtainthecontentsof words：HTML method data；element Key page；datamining；contentextracting；noise deleting 间。实验结果表明，此种方法能比较准确的对“正文式’网页 0引 言 的有效信息进行提取。但该方法必须局限在基于同一个模板 互