基于文本及符号密度的网页正文提取方法.PDFVIP

第27卷 第8期 电子设计工程 2019年4月 Vol.27 No.8 ElectronicDesignEngineering Apr.2019 基于文本及符号密度的网页正文提取方法 洪鸿辉，丁世涛，黄傲，郭致远 （武汉邮电科学研究院湖北武汉430000） 摘要：大多数的网站的网页除了主要的内容，还包含导航栏，广告，版权等无关信息。这些额外的 内容亦被称为噪声，通常与主题无关。由于这些噪声会妨碍搜索引擎对Web数据的挖掘性能，所 以需要过滤噪声。在本文中，我们提出基于网页文本密度与符号密度对网页进行正文内容提取， 这是一种快速，准确通用的网页提取算法，而且还可以保留原始结构。通过与现有的一些算法对 比，可以体现该算法的精确度，同时该算法可以较好的支持大数据量网页正文提取操作。 关键词：文本密度；算法；噪音；正文提取 中图分类号：TP391 文献标识码：A 文章编号：1674-6236（2019）08-0133-05 Textextractionmethodbasedontextandsymboldensity HONGHong⁃hui，DINGShi⁃tao，HUANGAo，GUOZhi⁃yuan （WuhanResearchInstituteofPostsandTelecommunications，Wuhan430000，China） Abstract: Mostweb pages contain notonly the main content，butalso navigation bar，advertising， copyrightandotherirrelevantinformation.Theseextracontentsarealsoreferredtoasnoise，usually irrelevanttothetopic.SincethesenoiseswillhampertheperformanceofsearchengineforWebdata mining，noiseremovalisneeded.Inthispaper，weproposeafast，accurateandgeneralwebcontent extractionalgorithmbasedontextdensityandsymboldensity，whichcanpreservetheoriginalstructure. Comparedwithsomeexistingalgorithms，thealgorithmcanreflecttheaccuracyofthealgorithm，andthe algorithmcanbettersupportthelargeamountofdataWebpagetextextractionoperation. Keywords:textdensity；algorithm；noise；textextract 自互联网问世以来，经过多年的发展，互联网站点 章通常要提取正文内容，标题，时间，作者等。文章 的数量在不断的增长，互联网上的信息也在不断的增 通常要提取正文内容，标题，时间，作者等。一方面， 加，然而，由于商业因素的问题，这些网站在为我们提 网页正文提取结果的好坏会影响着文本聚类，去重， 供有价值的信息的同时，还会包含其他信息，例如广告 语义指纹等结果。另一方面，网页正文提取在大数 或其他网站的链接。链接可能是图片，文字。这些相 据时代也是一项不可或缺的环节。 对于正文内容无用的信息会降低我们的阅读效率，而 1 相关工作 且这些无用的文字可能会被搜索引擎作为索引关键 词，不仅降低了搜索的效率还影响了用户的体验。 1.1 VIPS 很多互联网公司也发现了这一问题，所以现在 2003年，微软公司亚洲研究所提出了一种网页 越来越多的网页都会支持RSS。若一个网页支持