云计算与大数据挖掘.pdfVIP

CoverStory封面报道 {云计算 云计算与大数据挖掘 文 ，何清 大数据的基本概念 源范围)。 大数据带来的技术挑战包括：收集、存储、搜索、 根据维基百科的定义，大数据 (BigData)是一 共享、信息和可视化。大数据需要特别的技术在 个用于数据集的术语，指数据大小超出了常用 可容忍的时间里有效地处理大量的数据。用于大 软件在运行时间内可以承受的收集、管理和处 数据的技术包括大规模并行技~vrzP(Massively 理能力。大数据的其他英文表述方式还有海量 ParallelProcessing)数据库、数据挖掘网格技术、 数据 (MassiveData)、大规模数据 (LargeScale 分布式文件系统、分布式数据库 、云计算平台、 Data)、庞大的数据 (EnormousDaat)，以及巨量 互联网和可扩展存储系统。这些都与云计算技术 数据 (Hugedata)。 密切相关。 大数据的界限随着技术进步而不断增大，它的规 模是一个不断演化的指标，目前范围是从数十TB 大数据挖掘云服务 到十几PB级别。 大数据的出现源于我们生活在不断密集使用数 深度处理与挖掘要求 据的技术社会之中。世界上有46亿移动话单， 数据挖掘在人工智能领域 ，习惯上又称为数 10{L~20亿人访问互联网。目前，人们正处在一 据库中的知识发现 (KnowledgeDiscoveryin 个 “无处不网、无时不网、人人上网、时时在线” Database，KDD)，也有人把数据挖掘视为数据库 的时代。图灵奖获得者吉姆 ·格雷 (JimGray)曾 中知识发现过程的一个基本步骤。数据挖掘过程 说，网络环境下每18个月产生的数据量等于过去 由以下3个阶段组成：数据准备 (数据预处理)、 几干年的数据量之和。目前互联网的数据具有海 数据挖掘和结果表达。 量增长、用户广泛、动态变化等特征。与数据和 数据挖掘是通过分析每个数据，从大量信息中寻 信息交互的人比以往任何时候都多。根据Cisco~ 找其规律的技术，主要有数据准备、规律寻找和 计，~2013年，互联网流量将达到每年667EB。 规律表示3个步骤。数据准备是从相关的数据源 大数据存储方式经历了人工管理阶段、文件系统 中选取所需的数据并整合成用于数据挖掘的数据 阶段 、数据库系统阶段、分布式文件系统阶段和 集；规律寻找是用某种方法将数据集所含的规律 NoSQL阶段。随着数据量增长，越来越多人开始 找出来；规律表示是尽可能以用户可理解的方式 关注NoSQL、HBase、BigTable~Hive。 (如可视化)将找出的规律表示出来。 2001年Gartner发布报告指出，数据增长带来3个 数据挖掘的任务有关联分析、聚类分析、分类分 方面的挑战和机遇，即增加容积 (数据的数量)、 析 、异常分析、特异群组分析和演变分析等。大 速度 (数据吞吐速度)和多样化 (数据类型和来 数据为数据挖掘技术的发展创造了空间，基于大 74