java爬虫报告解读.ppt

LOGO LOGO 组员介绍： 组长：陈ssss edbdfdf883 组员：舒 心 edbdfdf982 组员：盛意林 edbdfdf662 Page ? * 陈ss 组员任务 分工及百分比 单击此处添加段落文字内容 舒s 盛ss 1.搭建爬虫框架 2.编写爬虫 3.数据分析 4.资源查阅 5.技术预研 任务量比重：35% 1.数据分析 2.技术预研 3.文档编写 4.资源查阅 5.PPT编写 任务量比重：30% 1.编写爬虫 2.数据分析 3.文档编写 4.资源查阅 5.技术预研 任务量比重：35% 项目整体介绍 我们用webmagic和selenuim结合爬取了新浪微博上的数据，通过这些数据进行分析处理，得出一些结论。 例如：我们可以统计用户是通过什么设备发出的这条微博，从而从一定程度上反应微博用户对移动设备的一个拥有的数量统计。也一定程度上反应了国内移动设备的市场份额，特别是针对年轻一代。 例如：我们可以统计用户是通过什么设备发出的这条微博，从而从一定程度上反应微博用户对移动设备的一个拥有的数量统计。也一定程度上反应了国内移动设备的市场份额，特别是针对年轻一代。 项目作用 因为微博是年轻人用的最多的社交工具之一了，通过对微博 数据的处理，我们也能对当前年轻一代的习惯进行分析和处理。 同时我们对微博数据的关键词如果进行一些统计，看哪些词出现的多一些，也可以反应当前的热点信息，这些对一些社会现象分析，同时也对广告厂商也有一定的借鉴意义。 例如我们对用户移动设备的分类统计可以一定程度上反应出当不同手机的市场拥有量，这个对手机厂商来说也是一个借鉴，让他们知道针对年轻一代对于手机市场份额，对自己的产品也会有一个把握。 Page ? * 优势 微博信息即时性 信息的全面性 数据信息的海量性 微博用户基数大 优势 主要技术架构 Webmagic 架构 Slenium 架构 Page ? * 技术列表及架构 Webmagic 采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。 Selenium Selenium也是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。 这个工具的主要功能包括：模拟浏览器的行为，测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上 Xpath XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言。 XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。 实验效果 2-3 实验效果 2-3 Page ? * 使用规范说明 图表应用 强调 Page ? * 单击此处添加标题 单击此处添加段落文字内容 1 单击此处添加段落文字内容 2 单击此处添加段落文字内容 3 单击此处添加段落文字内容 4 Page ? * 单击此处添加标题 文本内容 单击此处添加段落文字内容 单击此处添加段落文字内容 文本内容 单击此处添加段落文字内容 单击此处添加段落文字内容 文本内容 单击此处添加段落文字内容 单击此处添加段落文字内容 Page ? * 单击此处添加标题 文字内容 文字内容 文字内容 单击此处添加 段落文字内容 单击此处添加 段落文字内容 单击此处添加 段落文字内容 单击此处添加 段落文字内容 Page ? * 单击此处添加标题 单击此处添加 段落文字内容 此处添加内容 此处添加内容 单击此处添加 段落文字内容 此处添加内容 单击此处添加 段落文字内容 此处添加内容 单击此处添加 段落文字内容 此处添加内容 单击此处添加 段落文字内容 此处添加内容 单击此处添加 段落文字内容 单击此处添加标题 单击添加标题文字 单击添加段落文字 单击添加段落文字 单击添加段落文字 单击添加段落文字 Page ? * 单击此处添加标题 单击此处添加段落文字内容 单击此处添加段落文字内容 单击此处添加段落文字内容 单击此处添加段落文字内容 单击此处添加段落文字内容 单击此处添加段落文字内容 单击此处添加段落文字内容 单击此处添加段落文字内容 单击此处添加段落文字内容 Page ? * 单击此处添加标题 单击此处添加段落文字内容 单击此处添加段落文字内容 Page ? * 单击此处添加标题 单击添加段落文字 单击添加段落文字 单击添加段落文字 单击添加段落文字 单击添加段落文字 Page ? * 单击添加内容文字 单击此处添加标题 单击添加内容文字