抓取网页中所有链接Java代码毕业论文设计.docVIP

抓取网页中所有链接Java代码 摘 要 因特网目前是一个巨大、分布广泛、全球性的信息服务中心，它涉及新闻、广告、消费信息、金融管理、教育、政府、电子商务和许多其它信息服务。但Internet所固有的开放性、动态性与异构性，使得准确快捷地获取网络信息存在一定难度。 本文的目的就是对网站内容进行分析，解析其中的超链接以及对应的正文信息，然后再通过URL与正文反馈网站内容，设计出抓取网页链接这个程序。 抓取网页中的所有链接是一种搜集互联网信息的程序。通过抓取网页中的链接能够为搜索引擎采集网络信息，这种方法有生成页面简单、快速的优点，提高了网页的可读性、安全性，生成的页面也更利于设计者使用。 关键词： 网页解析；JAVA；链接；信息抽取 Scraping of the page all links in the Java code Abstract The Internet is a large, widely distributed, global information service center, it involves news, advertisement, consumption information, financial management, education, government, electronic commerce and many other information services. But the Internet inherent in the open, dynamic and heterogeneous sex, make quickly and accurately obtain the network information has certain difficulty. The purpose of this article is to analyze the content of the website, which resolves the hyperlink and the corresponding text message, and then through the website URL and the text content of the feedback,design the scraping of the page links to this program. Scraping of the page all links is a program to collect information on the Internet. Collected by search engines can crawl the web link in the network information, this approach has generated page is simple, quick advantage, improve the readability of web security, generated pages are also more conducive to the designer to use. Key words: Page analysis; JAVA; link; information ext 目录 摘 要 I Abstract ii 1 绪论 1 1.1 课题背景 1 1.2 网页信息抓取的历史和应用 1 1.3 抓取链接技术的现状 2 1.3.1 网页信息抓取的应用 3 1.3.2 网页信息提取定义 4 2 系统开发技术和工具 7 2.1 项目开发的工具 7 2.1.1 Tomcat简介 7 2.1.2 MyEclipse简介 7 2.2 项目开发技术 8 2.2.1 JSP简介 8 2.2.2 Servlet简介 10 2.3 创建线程 11 2.3.1 创建线程方式 11 2.3.2 JAVA中的线程的生命周期 12 2.3.3 JAVA线程的结束方式 12 2.3.4 多线程同步 12 3 系统需求分析 14 3.1 需求分析 14 3.2 可行性分析 14 3.2.1 操作可行性 14 3.2.2 技术可行性 14 3.2.3 经济可行性? 15 3.2.4 法律可行性 15 3.3 业务分析 15 3.4 功能需求 17 4 概要设计 18 4.1 运行工具 18 4.2 抓取网页中所有链接的体系结构 18 4.3 抓取网页中链接工作过程 19 4.4 页面的设计 21 4.4.1 页面