基于正则表达式的信息滤除算法.pdfVIP

基于正则表达式的信息滤除算法 高丙坤 ，成战刚 ，李 倩 (1．大庆石油学院电气信息工程学院，大庆163318；2．中国石油测井有限公司长庆事业部解释中 12，西安710201) 摘 要：摈弃了传统网页清洗算法实现繁琐、效率低下、准确率差等种种弊端，分析了-3前网 页的代码结构，提出了基于正则表达式的信息筛选、滤除算法，并在Visual Studio ． NET 2003环境下结合Regex类、MatchCollection类、Match类．用C≠≠语言实现了该 算法。 关键词：网页清洗；信息滤除；正则表达式 O 引 言 较复杂．实现过程繁琐．经直接评估后证实清洗效率 低。差错率高达19％t”。 随着web站点和网页数量的日益增多．web在 为用户提供丰富信息和知识来源的同时．由于多种原 2 当前网页结构及滤除关键 因．例如为了增强用户交互性而加入的Script，为了便 对像搜狐、新浪、网易等包含大量信息的大型门 于用户浏览而加入的导航链接．出于商业因素所加入 户网站而言，其网页中包含信息标题、文摘、超链接等 的广告链接等．给用户带来了“信息过载” 与传统的 可供用户检索用的有用信息。且这类网站结构稳定、 文本文档相比，Web页面不再像以前那样整齐、干净。 类似具有普遍代表性。所以只要对这些网站信息做到 其中包含了大量垃圾信息 这就使得Web页面关键 高效滤除．则等于可以对这类网站的信息做到批量处 信息的筛选具有特别重要的作用。Web信息的滤除能 理的目的。经对比得到该类网站普遍拥有相似的结构 够帮助用户从海量信息资源中找到所需信息和隐含 如下： 的知识．在很大程度上缓解了信息过载及知识获取的 html 繁琐 head……………一一头标题等信息 1 传统页面处理方法 ／head body 原始的网页过滤采用网页清洗的技术 它通常将 a href=…………／a一一单条信息单元 一 个完整的Web页面作为一个处理单位．从中划分 … … 一 一 单条信息单元 出更精确的信息单位，并根据检索、分类等后续应用 ／body 的需求。将页面中不需要的部分去除。将需要的部分 ／html 提取出来 可以清楚地看到。这类网页中主体信息存在于 传统页面清洗主要包括以下3个步骤：去除页面 body……／bodv之间。对于单个的信息单元a href=