数据分析系统的设计与实现论文.doc

数据分析系统的设计与实现毕业论文 目 录 一、 概述 1 1.1 课题背景与研究意义 1 1.1.1课题背景 1 1.1.2研究现状 3 1.1.3研究意义 3 1.2论文结构 4 二、微博消息传播模型 4 2.1微博消息传播的特点 4 2.2微博用户状态 6 2.3微博意见领袖 7 2.4微博传播模型 9 三、微博舆情管理平台的设计与实现 12 3.1微博舆情管理平台的总体流程 12 3.2数据分析系统设计流程 13 四、微博舆情管理平台的实现 14 4.1样本选取与数据来源 14 4.2微博数据转化 15 4.3微博文本聚类 17 4.3.1文本聚类定义 17 4.3.2机器学习 18 4.3.3K-means算法 19 4.4微博意见领袖重要性评估 21 4.4.1 PageRank算法 21 4.4.2 WeiboRank算法 22 4.4.3 算法对比 23 4.5微博舆情预警模块 25 4.5.1微博舆情预警 25 4.5.2趋势分析模块 26 4.6趋势分析结果比较 29 五、结论与展望 31 5.1系统不足 31 5.2未来展望 32 5.2.1改进预期 32 5.2.2新增功能 32 5.3结束语 33 参考文献 34 附录Ⅰ： 翻译原文 35 Cluster Analysis:Basic Concepts and Algorithms 35 1Overview 40 1.1.1What Is Cluster Analysis? 40 1.1.2 Different Types of Clusterings 41 1.1.3Different Types of Clusters 44 2.Road Map 47 ? K-means 47 ? Agglomerative Hierarchical Clustering 48 ? DBSCAN 48 附录Ⅱ： 中文翻译 48 聚类分析：基本概念及算法 48 1概述 51 1.1.1什么是聚类分析？ 51 1.1.2不同类型的群集合 52 1.1.3簇的不同类型 53 2.路线图 56 ?K-means算法 56 ?凝聚层次聚类 56 ?DBSCAN 56 概述 1.1 课题背景与研究意义 1.1.1课题背景 随着时代的进步技术的发展和2.0时代的，舆情也呈现蓬勃发展的，截至2012年12月底，我国网民规模达5.64亿手机网民达到我国微博用户规模为3.09亿，较2011年底增长了5873万，网民中的微博用户比例较上年底提升了六个百分点，达到54.7%。相当一部分用户访问和发送微博的行为发生在手机终端上，截至2012年底手机微博用户规模达到2.02亿，即高达65.6%的微博用户使用手机终端访问微博。微博，即微博客（MicroBlog）的简称，是一个基于用户关系信息分享、传播以及获取平台，用户可以通过WEB、WAP等各种客户端组建个人社区，以140字左右的文字更新信息，并实现即时分享。美国twitter是最早的微博平台，也是目前最著名的平台。，中国第一家带有微博色彩的网站“”开张，到009年新浪微博开通中国第一家推出微博的门户网站，微博正式进入上网主流人群。2011年10月，中国微博用户总数达到2.498亿，成世界第一大国。成为网络舆情的一大组成部分。 (外露的部分)或情绪反应(既可能外露又可能不外露的部分)。”更多的学者倾向于如下认识：“舆情是指在一定的社会空间内，围绕中介性社会事件的发生、发展和变化，民众对社会管理者产生和持有的社会政治态度。如果把中间的一些定语省略掉，舆情就是民众的社会政治态度。”这一定义将舆情界定为民众的社会政治态度，突出了民众与国家管理者之间的关系，抓住了舆情的核心，因此本文在以下的论述中，也采用这一定义。 任何一种技术的出现及发展，或多或少会对社会生活造成一定的冲击和影响。网络从诞生的那一天起，就开始深刻地影响人们的生活、学习、思考、交流和娱乐的方式。与此同时，现实生活与虚拟世界交互影响，呈现出一种你中有我、我中有你的局面。以网络为平台，通过新闻、评论、发帖、回复等为载体表现出来的舆情，就是网络舆情。以网络为载体的网络舆情或多个管理与监控，对互联网信息挖掘采集技术的整合，抓取互联网中的海量信息，可以一些算法对信息分类，分析，倾向分析等或者简报结论，便于用户掌握(社区)发帖、跟帖，博客，播客，微博 与传统舆情相比，网络舆情具有传播快速和实时互动的特点。网络的出现使得地球村的梦想得以实现，一条消息可以在瞬间传遍世界。相应的，某个舆情通过各大网站、论坛的转贴可以在极短时间内为大量人知晓，这在以前是难以想象的；在网络舆情体现最明显的论坛、社区、博客、微博现状 技术的发展和时代的进步，网络舆情的重要性已经毋庸置疑，有关网络舆情管