WEB主题信息采集系统的设计与实现-软件工程专业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 日期： 年 月 日 论 文 使 用 授 权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： ABSTRACT 日期： 年 月 日 2 摘要 摘 要 当今互联网已经成为转播信息最快最方便的途径，每天在互联网上都有无数 的网站和网页正在产生。用户可以通过搜索引擎查找信息，但是由于搜索引擎是 为所有互联网用户服务的，所以用户无法通过搜索引擎方便的查找到自己指定的 一组网站的内容，搜索引擎也不会主动推送这些网站的内容给用户。 为了解决这个问题，作者设计了 Web 主题信息采集系统。利用这个系统，操 作者能十分方便的定制搜索和抓取其需要的新闻信息并进行整合，从而使得从互 联网中获取新闻信息更富有针对性和便捷性。 本论文以信息采集系统的功能需求为向导，从需求分析、理论调研、系统构 架、工作原理以及功能实现等方面入手，详细阐述了本 Web 主题信息采集系统的 设计与实现过程。 我们首先通过对国内外关于 Web 信息抽取和文本挖掘理论研究的现状的研究， 提出了本 Web 信息采集系统的设计原理和系统建设目标。然后，分析了 Web 页面 的特点，总结了其规律，设计出 Web 页面源代码特征的提取技术，最终形成 Web 信息的采集方法，并提出了 Web 主题信息采集系统的工作原理和系统设计。本系 统主要由以下三部分构成:一是网页定制，根据所想要的信息资料的网址和我们的 正则表达式相匹配的规则，来获取采集规则。二是网页信息资料获取，即一定的 存取信息的规则，合理的使用提取算法，增量对最近匹配的信息资料进行更新， 把有效的信息保存到我们的信息库中。三是网页信息内容管理，对采集到的信息 资料进行删除，增加，查询，修改等等操作，也就是设计信息内容资料的管理系 统，主要是指管理我们已经完成存取的内容数据资料。 本系统通过对国内大型门户网站的信息资料获取来进行了系统的测试和论 证，从而体现出这个方法的优势所在，以及方便用户的特点。同时，也通过举例， 证明了这个方法具有良好的应用意义、使用范围以及发展前景。 关键词：正则匹配，信息采集，网页读取 I ABSTRACT ABSTRACT Abstract: Nowadays the Internet has become the fastest and most convenient way of transmitting information. Every day on the Internet numerous websites and WebPages are coming into being. Users can find information through search engines, but they can not easily find their specific sets of website content through search engines, because the search engines service for all Internet users, and they will not set these sites content to the user initiatively. In order to solve this problem, the author designs this web information collection system. By using this system, the operator can very easily search the news they need and integrate it, which greatly makes the access to news and information from the Internet more targeted and convenient. Under the guidance of funct