- 1、本文档共75页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
摘要
随着网络在世界范围的飞速发展,互联网作为最具潜力与活力的媒体已经被公认是继报纸,广播,电视之后的“第四媒体”,成为反映社会新闻热点的重要载体。为了及时了解网络新闻热点,相关机构引入了新闻热点分析系统。本文设计的新闻爬虫系统是新闻热点分析系统的数据源,负责新闻信息的采集。
本文借助于爬虫领域的相关技术与工具,结合新闻热点分析系统的需求从原理或工作流程上详细论述了爬虫系统中核心模块的具体实现。
本文所描述的新闻爬虫系统其数据来源主要是新浪新闻,首先利用爬虫工具将新闻数据获取到本地数据库中,然后将新闻信息以及新闻分析的结果将在前台网页中进行可视化输出。本文主要进行了以下几个方面的工作:
1)利用Java语言结合HTTPClient开源工具编写了一个针对新浪新闻的可扩展的网络爬虫,该爬虫程序能够按照广度优先的爬行策略对新闻数据(包括图片信息)进行全面的定向抓取以及周期性的增量抓取;
2)采用HTMLParser对获取到的新闻信息进行元数据抽取,将新闻的编号、标题、内容、发布方、发布时间等元数据以及新闻图片等元数据解析出来并存入SQL Server数据库中;
3)前端界面利用开源AJAX框架ExtJS结合Servlet进行实现,兼顾用户交互方式的多样性以及系统的跨浏览器兼容性。
通过使用该新闻爬取系统,用户能够实时的更新新闻信息,及时、全面、准确地掌握新闻热点动态,提高对于重大突发事件的处理能力,对于更及时,全面的了解各地的实时信息具有重要意义。
关键词:新闻热点,网络爬虫,元数据抽取,可视化
ABSTRACT
With the rapid development of World Wide Web(WWW),it is widely
accepted that the internet,called the Fourth Media,will be the most potential
and energetic media after newspaper,radio and television as an important carrier of the hot society news.In order to know the internet hot news in time,the related organizations introduced the hot news and analysis system. The news spider system is in the information collection layer and is the fundamental part of hot news analysis system.It is responsible for the information collection .
In the help of related technologies and tools and with the needs of the system itself ,the paper discuss the concrete realization of the code module in detail .
The data of the news spider system comes from news of sina . First using web crawler to get data from news to local database , finally visualize the public opinion information on the front page. This article mainly has carried on the following several aspects work:
1) Using Java and HTTPClient developed a scalable web crawler which focus on DISCUZ BBS. Besides, this crawler can conduct a comprehensive orientation of fetching and periodic increment of fetching from BBS data (including the BBS post information and
您可能关注的文档
最近下载
- 高中数学教材落实核心素养的几点思考-来源:课程教育研究(学法教法研究)(第2018030期)-内蒙古自治区北方文化研究院.pdf VIP
- 山东天鹅400T棉花打包机液压原理图的油路工作状态详细说.pdf
- 河北《被动式超低能耗建筑施工及验收标准》.pdf
- 煤矿岗位标准流程(机电专业)操作法汇编.doc
- ISO37001-2016反贿赂管理体系要求及使用指南.pdf
- 政法委公开招聘考试真题.pdf VIP
- 2023年注册会计师《公司战略与风险管理真题》真题.docx
- 医院信息系统(HIS)医院信息系统(HIS).pdf
- 《国家学校体育卫生条件试行基本标准》.pdf VIP
- (医学)新型降糖药的心血管作用知多少详解(医疗健康讲座教学培训课件).pptx VIP
文档评论(0)