面向动态页面的网络爬虫系统的设计与实现-计算机软件与理论专业毕业论文.docxVIP

摘要摘要 摘要 摘要 互联网从诞生到现在，已经聚集了海量的信息资源，然而这些信息在网络中 的存放杂乱无章，使人们在获取信息的时候遇到困难，搜索引擎是的产生就是 为了帮助人们更好地从互联网中检索信息，它已经成为互联网中最不可或缺的 工具。本文在学习了网络爬虫程序的工作原理、遍历策略、网页排序算法、Deep Web等知识的基础上，设计并实现了一个能自动从目标网站中提取各种页面的 系统。 网络爬虫程序是搜索引擎中用于下载Web页面的重要组成部分，随着互联 网技术的不断发展变化，对于如何增强网络爬虫程序的工作能力来适应变化的 Web应用程序已经成为国内外学习研究的热点。传统的网络爬虫程序只能抓取 互联网表层的可索引页面，它们忽视了大量的必须经过动态技术才能获取的处 于网络深层的页面，因此研究面向动态页面的网络爬虫系统非常具有实用价值。 本文根据动态页面产生的多种原因，如利用HTML表单查询数据库动态生 成页面、AJAX技术动态执行脚本后生成新的页面，提出了多种提取动态页面的 方案，使得网络爬虫系统能够从目标网站中得到更多传统爬虫系统无法获取的 Web页面。面向动态页面的网络爬虫系统使用多线程对Web页面进行同步的下 载和分析，提取Web页面中的所有静态链接、表单、JavaScript脚本代码以及 JavaScript页面事件，通过模拟用户填写表单和触发事件执行脚本来获取页面中 的动态链接，并将提取的所有链接使用布隆过滤器存储，将链接通过多个互不 相关的hash函数映射到一快内存的多个比特位上，能够迅速地判断链接是否重 复，大大地提高了效率，最后对该系统进行了全面的测试，验证了系统实现的 正确性和稳定性。 关键词 网络爬虫布隆算法动态页面AJAX AbstractAbstract Abstract Abstract From birth to now,Internet has gathered vast amounts of information resources， and the resources are stored in the network promiscuously,SO that people may have difficulties in searching Interact information．The search engine is the production to help people retrieve information from Interact more easily,it has become an important tool in Intemet．The paper designs and implements a system which Can extract pages from the target site automatically by learning Web crawler program， traversal strategy,page ranking algorithm and Deep Web． Web crawler program is an important part of the search engine to download Web pages．Traditional web crawler Can only achieve the surface Web of Internet，which can be reached through hyperlinks．Most of the crawlers ignore the large number of dynamic pages，they are hiding deep in the network．Therefore，it is meaningful to study web crawler system based on dynamic pages． Dynamic pages are generated by a variety of reasons，such as using an HTML form to query the database，or using AJAX technology dynamically execute script to generate a new page．This paper presents a variety of programs to extract the dynamic pages，and designs and implements a Web crawler system which uses multiple threads to