传统数据挖掘与大数据中的数据挖掘的异同.docVIP

毕 业 设 计 论 文 院系名称： 信息学院·软件工程 专业班级： 软件本111 学生姓名： 韩晓冬 指导教师： 张 楠 密级：内部 传统数据挖掘与大数据中数据挖掘的异同 专业班级： 软件本111 学生姓名： 韩晓冬 学 号： 座机电话号码23 指导教师： 张 楠 摘 要 大数据是IT产业具有颠覆性的技术革命，在这之前的技术革命还有物联网、云计算等。大数据时代的到来对人们影响巨大，尤其在生活方式和商业模式上影响着人们，而且也在组织流程、企业决策等方面影响着人们。随着大数据的提出，许多信息技术迎来了新的发展机遇，尤其对数据挖掘技术影响巨大，而数据挖掘技术也开始了一个新的发展阶段。目前信息世界中一个非常严峻的问题就是数据的大爆炸与知识的匮乏，要想解决这个严峻的问题，数据挖掘是一个非常有力的手段。过去的几年是知识大爆炸与信息大爆炸的时代，而现在则是数据大爆炸的时代。大量的数据信息隐藏着巨大价值，要想发现这些价值，进行数据挖掘是必不可少的。 由于大数据的数据量比较庞大，数据类型比较复杂，因此，想要针对大数据进行数据挖掘必然不能在用传统的数据挖掘技术，基于大数据的数据挖掘必然不同于传统数据挖掘技术。大数据与相对较小的数据相比在存储上、数据类型上都有着非常大的不同，因此，数据对象不同的数据挖掘技术也有着很大的不同。那么传统数据挖掘与基于大数据的数据挖掘之间究竟有何不同之处、有何相同之处？这对于大数据的发展具有十分重要的意义。 本文主要论述了传统数据的概念和特点、大数据的概念和特点以及基于大数据的数据挖掘的概念和特点，最后进行传统数据挖掘与基于大数据的数据挖掘比较，最终得出传统数据挖掘与基于大数据的数据挖掘既有相同之处又有不同之处。相同之处在于数据挖掘的思想、目的、基本方法等方面，不同之处在于数据存储、数据处理、数据类型等方面。 关键词 数据挖掘，大数据，知识大爆炸 目 录 摘 要 I Abstract II 第1章 绪 论 1 1.1 大数据时代 1 1.2 数据挖掘的意义 1 1.3 基于大数据的数据挖掘 1 1.4 本文的主要目的与内容 2 第2章 传统数据挖掘的起源 3 2.1 传统数据挖掘的定义 3 2.2 传统数据挖掘的概念 3 2.3 传统数据挖掘的起源 3 2.4 传统数据挖掘的发展阶段 4 第3章 传统数据挖掘技术 5 3.1 数据挖掘的分析方法 5 3.1.1 关联分析 5 3.1.2 分类分析 5 3.1.3 序列模式分析 6 3.1.4 聚类分析 6 3.2 复杂数据类型挖掘 6 3.3 传统数据挖掘面临的挑战 7 3.3.1 数据挖掘的对象 7 3.3.2 输入数据的复杂性 7 3.3.3 用户的参与度 7 3.3.4 信息的验证技术 8 3.3.5 信息的表达和解释 8 3.3.6 信息的维护更新 8 3.3.7 有限的支持和集成 8 3.4 数据挖掘的发展趋势 8 第4章 基于大数据的数据挖掘 10 4.1 大数据技术 10 4.1.1 大数据的定义 10 4.1.2 大数据的意义 10 4.1.3 大数据的特点 10 4.1.4 内存分析 11 4.1.5 集成设备 11 4.1.6 大数据的结构 11 4.2 基于大数据的数据挖掘 12 4.2.1 基于内容的大数据挖掘 12 4.2.2 基于结构的大数据挖掘 13 4.3 基于大数据的数据挖掘的意义 13 4.4 基于大数据的数据挖掘的应用 13 第5章 传统数据挖掘与大数据挖掘的异同 15 5.1 数据存储方面 15 5.1.1 容量方面 15 5.1.2 延迟方面 15 5.1.3 安全方面 15 5.1.4 成本方面 16 5.1.5 数据积累方面 16 5.2 数据处理方面 16 5.2.1 处理工具方面 16 5.2.2 存储工具方面 17 5.2.3 数据计算方面 17 结 论 19 致 谢 20 参考文献 21 第1章 绪 论 1.1 大数据时代 2009年以来“大数据”成为各界的流行词，尤其是在信息领域中。而在麦肯锡的2011年数据呈报报告中指出，大数据现已渗透社会各个领域，数据中的信息已然成为重要的生产要素。作为时下最流行的关键技术，随之而来的数据仓库、数据挖掘、数据分析、数据处理等围绕大数据的技术也逐渐开始进入一个新的发展阶段。那么“大数据”究竟有多大？根据世界互联网数据中心统计报告，互联网上数据的年增长率是50%，而在过去的几年里产生了90%的数据，数据量已经达到了ZB级别。“大数据”被比作未来的“石油”，它不仅是信息世界的特殊技术，这也将是一个国家综合国力的重要组成部分。一个国家拥有的数据规模与数据运用的能力以及对数据的占有量和控制量将成为国家间新的争夺点。 1.2 数据挖掘的意义 大数据作为一种重要的战