基于HTML解析器的Web信息提取技术.pdfVIP

第23卷第6期 郑州轻工业学院学报(自然科学版) V01．23No．6 2008年12月 OFZHENGZHOUUNIVERSITYOFLIGHT Dec．2008 JOURNAL INDUSTRY{NaturalScience} 文章编号：1004—1478(2008)06—0100-03 王琳琳 (枣庄学院计算机科学系，山东枣庄277160) 摘要：提出一种使用开源的HTML解析器包和正则表达式来提取Web网页信息的方法．该方法能够 解析HTML文件的组成结构，并从中提取主体文本以供处理．实验表明，该方法的抽取准确率可达到 95％以上，具有简单、准确的特点． 关键词：Web信息提取；正则表达式；HTML解析器；主题信息 中图分类号：TP391．1 文献标志码：A The ofWebinformationextractionbasedonHTMLParser technology WANGLin—lin 277160，China) (Dept．ofcomp．Sci．，ZaozhuangUniv．，Zaozhuang informationfromWeb wereextractedHTMLParserand Abstract：The pages by regularexpression．The methodcan HTMLfileandextractthemain fromtheHTML resultsshowthat parse part file．Experimental accurate． theextraction is than95％．Themethodis and precisionhigher simple information Parser information Keywords：Web extraction；regularexpression；HTMLpackage；topic 面进行E—mail信息提取，以类似的方法，可以进行 U 引舌 Web页面其他信息的提取． 随着计算机的普及以及互联网的迅猛发展，大 1 系统实现 量信息以电子文档的形式出现在人们的面前¨1，为 了应对信息爆炸带来的严重挑战，需要一些自动化 的技术帮助人们找到需要的信息．目前信息提取中 的关键技术有：命名实体识别，句法分析，篇章分析 统首先利用HTMLParser递归提取各层URL信息， 与推理，知识获取等． 然后利用正则表达式对各URL对应页面进行电子 邮件信息提取． 本文基于HTML解析器旧1和正则表达式对 Web页面进行分析，以提取出感兴趣的信息．由于 1．1提取网站内部的电子邮件数据算法 提取各类不同信息的方法类似，因此，本文以提取 输入：某一网站首页地址(URL)． E—mail信息为例设计并实现Web页面的E—mail信输出：本网站内部Deep层页面上的电子邮件 息提取系统．研究重点是对网站内部Deep层链接页信息． 收稿日期：2008—05—2