大数据概念与应用课件.ppt

1.3　大数据应用场景 1.4　大数据处理方法 1.2　大数据的来源 1.1　大数据的概念与意义 第一章　大数据概念与应用 全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用 of 40 * 习题 1.4 大数据处理方法 第一章 大数据概念与应用 of 40 * 大数据正带来一场信息社会的变革。大量的结构化数据和非结构化数据的广泛应用，致使人们需要重新思考已有的IT模式； 与此同时，大数据将推动进行又一次基于信息革命的业务转型，使社会能够借助大数据获取更多的社会效益和发展机会； 庞大的数据需要我们进行剥离、整理、归类、建模、分析等操作，通过这些动作后，我们开始建立数据分析的维度，通过对不同的维度数据进行分析，最终才能得到想到的数据和信息。 因此，如何进行大数据的采集、导入/预处理、统计/分析和大数据挖掘，是“做”好大数据的关键基础。 1.4 大数据处理方法 第一章 大数据概念与应用 of 40 * 大数据的采集 1 大数据的采集通常采用多个数据库来接收终端数据，包括智能硬件端、多种传感器端、网页端、移动APP应用端等，并且可以使用数据库进行简单的处理工作。 常用的数据采集的方式主要包括以下几种： 数据抓取 01 数据导入 02 物联网传感设备自动信息采集 03 1.4 大数据处理方法 第一章 大数据概念与应用 of 40 * 导入/预处理 2 虽然采集端本身有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些数据导入到一个集中的大型分布式数据库或者分布式存储集群当中，同时，在导入的基础上完成数据清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。 现实世界中数据大体上都是不完整、不一致的“脏”数据，无法直接进行数据挖掘，或挖掘结果差强人意，为了提高数据挖掘的质量，产生了数据预处理技术。 主要是达到数据格式标准化、异常数据清除、数据错误纠正、重复数据的清除等目标。 是将多个数据源中的数据结合起来并统一存储，建立数据仓库。 过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。 寻找依赖于发现目标的数据的有用特征，缩减数据规模，最大限度地精简数据量。 精品 精品 精品 全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用 大数据 刘鹏　　主编　　　　张燕　张重生　张志立　 副主编 BIG DATA 刘 鹏 教授，清华大学博士。现任南京大数据研究院院长、中国信息协会大数据分会副会长、中国大数据技术与应用联盟副理事长。 主持完成科研项目25项，发表论文80余篇，出版专业书籍15本。获部级科技进步二等奖4项、三等奖4项。主编的《云计算》被全国高校普遍采用，被引用量在国内计算机图书类排名居前。创办了知名的中国云计算（chinacloud.cn）和中国大数据（thebigdata.cn）网站。 曾率队夺得2002 PennySort国际计算机排序比赛冠军，两次夺得全国高校科技比赛最高奖，并三次夺得清华大学科技比赛最高奖。 荣获“全军十大学习成才标兵”（排名第一）、南京“十大杰出青年”、江苏省中青年科学技术带头人、清华大学“学术新秀”等称号。 第一章　大数据概念与应用 1.1　大数据的概念与意义 1.2　大数据的来源 1.3　大数据应用场景 1.4　大数据处理方法 全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用 of 40 * 习题 1.1 大数据的概念与意义 第一章 大数据概念与应用 of 40 * 时至今日，“数据”变身“大数据”，“开启了一次重大的时代转型”。 “大数据”这一概念的形成，有三个标志性事件： 1．从“数据”到“大数据” 4 V 特征 种类多（Variety） 速度快（Velocity） 价值高（Value） 体量大（Volume） 大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还有海量相关的外部数据。 随着现代感测、互联网、计算机技术的发展，数据生成、储存、分析、处理的速度远远超出人们的想象力，这是大数据区别于传统数据或小数据的显著特征。 大数据有巨大的潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和成本。 第一章 大数据概念与应用 of 40 * 从2013年至2020年，人类的数据规模将扩大50倍，每年产生的数据量将增长到44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。 1.1 大数据的概念与意义 第一章 大数据概念与应