★新闻爬虫系统的设计与实现毕业论文解析.docVIP

摘要 随着网络在世界范围的飞速发展，互联网作为最具潜力与活力的媒体已经被公认是继报纸，广播，电视之后的“第四媒体”，成为反映社会新闻热点的重要载体。为了及时了解网络新闻热点，相关机构引入了新闻热点分析系统。本文设计的新闻爬虫系统是新闻热点分析系统的数据源，负责新闻信息的采集。 本文借助于爬虫领域的相关技术与工具，结合新闻热点分析系统的需求从原理或工作流程上详细论述了爬虫系统中核心模块的具体实现。 本文所描述的新闻爬虫系统其数据来源主要是新浪新闻，首先利用爬虫工具将新闻数据获取到本地数据库中，然后将新闻信息以及新闻分析的结果将在前台网页中进行可视化输出。本文主要进行了以下几个方面的工作： 1）利用Java语言结合HTTPClient开源工具编写了一个针对新浪新闻的可扩展的网络爬虫，该爬虫程序能够按照广度优先的爬行策略对新闻数据（包括图片信息）进行全面的定向抓取以及周期性的增量抓取； 2）采用HTMLParser对获取到的新闻信息进行元数据抽取，将新闻的编号、标题、内容、发布方、发布时间等元数据以及新闻图片等元数据解析出来并存入SQL Server数据库中； 3）前端界面利用开源AJAX框架ExtJS结合Servlet进行实现，兼顾用户交互方式的多样性以及系统的跨浏