基于新浪微博的用户信息爬虫及分析本科毕业论文.docVIP

目 录 摘 要 I Abstract II 1 引言 3 1.1 选题背景与意义 3 1.2 系统开发工具 3 1.2.1 vs 2008 3 1.2.2 oracle 11g 3 1.2.3 boost库 3 1.2.4 GZIP压缩算法函数库 3 1.2.5 JSON格式文件转换函数库 4 2 系统需求分析与设计 5 2.1 系统需求 5 2.1.1 名词说明 5 2.1.2 系统功能需求说明 5 2.1.3 系统总体功能设计 7 2.2 系统数据库构建 9 2.2.1 数据库设计 9 2.2.2 数据库详细设计 9 3 系统详细设计与实现 12 3.1 爬虫系统详细设计 12 3.1.1 HTTP请求数据包 12 3.1.2 HTTP返回数据包 13 3.1.3 数据分析与提取 13 3.1.4 AnaData类 13 3.1.5 数据入库 15 3.2服务端详细设计 16 3.3客户端详细设计 17 3.3.1 登录页面 17 3.3.2 注册新用户和忘记密码页面 18 3.3.3 用户关注列表查询界面 19 3.3.4 微博用户标签分类查询 20 3.3.4 发布微博并@列表框中的微博用户昵称 20 3.3.5 微博用户昵称模糊搜索 21 3.3.6 微博用户微博查询 21 4 系统部署与测试 22 4.1 系统部署图 22 4.2 系统测试 22 5 结束语 29 参考文献 30 致谢 31 摘 要 随着互联网信息技术的发展，在这个信息时代，数据量的增长速度已经远远超过的我们的想象。迅速的对这些数据进行处理，进行信息的提取已经成为目前计算机领域一个巨大的难题。而且无论是政府还是企业，对于大数据的掌握都可以起着至关重要的作用。数据处理技术蕴含的巨大的商业价值必将被慢慢的挖掘出来。 本文以新浪微博作为信息载体。对新浪微博的用户信息进行收集和分析，对新浪微博信息数据转化成价值的可行性进行了尝试。设计出了一个可以获取新浪微博信息的数据收集系统，并进行一定的数据分析和数据展示。 关键词：C++，新浪微博，数据挖掘  Abstract With the Internet development of information technology, in this age of information, the amount of data growth has far exceeded our imagination. Rapid processing of these data, the extraction of information has become a huge problem in the computer field. And whether government or corporate, can grasp for big data plays a vital role. The tremendous commercial value of data processing technology is bound to be slowly excavated. In this paper, Sina Weibo as an information carrier. Sina Weibo user information collection and analysis the Sina microblogging data into the value of the feasibility of a try. Design one can get the the Sina microblogging information system of data collection and data analysis and data presentation. Keywords: c++ ,Sina Weibo,Data Mining 1 引言 1.1 选题背景与意义 随着互联网信息技术的发展，目前的信息增长的速度已经进入了飞速膨胀的阶段。“如果说IBM的主机拉开了信息化革命的大幕，那么‘大数据’才是第3次浪潮的华彩乐章。”著名未来学家、当今世界最具影响力的社会思想家之一托夫勒在《第三次浪潮》中说过的内容如今已将逐渐成为事实，大数据正在改变这我们的生活。 IDC（国际数据公司）在2011年6月的数据统计[1]，全球数据量在2011年已达到1.8ZB,在过去5年时间里数据量增加了5倍。1.8ZB是什么样的概念？1ZB等于1万亿GB，1.8ZB也就相当于18亿个1T的硬盘。 有效的对这些数据处理，去噪和提取信息，将数据转换成价值的技术已成为目前市场最为广阔的研究课题。例如数据挖掘，分布式计算