海量微博数据采集技术研究.pptxVIP

海量微博数据采集技术的研究;数据挖掘思路;基于新浪API获取数据流程;开发者向新浪微博OAuth2.0服务提供商申请应用，获得应用的专属App Key、 App Secret和 设置回调页。 将上一步得到的App Key和App Secret发给新浪微博用户授权地址请求Request Token授权。 ;新浪微博API 由一系列的接口程序构成，开发者调用这些程序，实现对微博系统进行采集用户数据、微博内容，写入数据等功能。新浪微博的开放API接口程序具有使用方便、数据目的性强、获取相应数据简洁等特点。;授权后，在浏览器中得到一串pin码，开发者再向新浪微博Access Token地址发起请求，将上一步授权的Request Token换取成Acess Token。 经服务器同意用户请求，并向其颁发通过新浪微博授权的Access Token。 用户可将获得的授权的Access Token向API服务器请求用户身份资源的使用授权。 ;先要配置文件perties ;然后运行OAuth4Code通过输入返回的CODE获取access_token。 ;改写程序;改写程序;抓取结果;速度快---两秒钟20条 获取信息丰富---姓名、性别、城市、好友数等 节省空间---平均每条只占3KB空间;由于API调用有次数限制，所以如果需要抓取的数据在海量级的水平时需要注册申请多个开发者ID进行轮换的API访问。 普通账号每小时只能访问接口10000次。;基于网络爬虫Heritrix数据挖掘流程;Heritrix是Java开发的开源网络爬虫工具，由一些核心类和插件模块组成，可在中下载。下载之后在Eclipse中配置，配置完成后，由CrawlController启动线程，在线程池中，选择一个预定的URL,从所选择的URL链接地点下载远程文件到本地电脑，分析并归档下载到的文档，写入磁盘镜像目录。 ;基于网络爬虫Heritrix数据挖掘流程;将原有字符串以utf-8编码格式转换为原始二进制字符。 将原始二进制数分组，每三字节为一组，不足三字节的用0补空位。 将每组三字节24位编码分为四段，每段前加00组成四字节的32位编码。 将每组32位编码以每8b分段，将每8b字符转成十进制数，通过base64编码表将对应数字转化成相应字符。;基于网络爬虫Heritrix数据挖掘流程;基于网络爬虫Heritrix数据挖掘流程;基于网络爬虫Heritrix数据挖掘流程;不受接口的访问次数限制 只要网速够快，时???充分，爬虫可以爬取海量级的数据;爬取的信息不够丰富---只能看到用户名与微博内容 占空间---爬到一条有用的信息平均要消耗100kb 速度不确定---接入网的稳定性会极大的影响爬取效率;平均数值;感谢各位领导的聆听也感谢王洁老师在我们研究时给予的悉心指导;End