大数据技术及应用培训学习课件.ppt

大数据技术 认知 初识 大数据算法与理论 大数据系统与实践 NoSQL Hadoop 大数据带来的思维变化 大数据带来的价值链 大数据发展现状与未来 大数据 vs 人类 什么是大数据 大数据的特性 大数据与传统技术的关系 大数据与其他新兴技术的关系 深入 * 大数据技术 什么是大数据 百度百科：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 维基百科：大数据是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用形成的智力资源和知识服务能力。 学术观点：大数据是由大量异构的数据组成的数据集合，它是可以应用合理的数学算法或工具从中找出有价值的信息，为人们带来利益的一门新兴学科。 * 大数据技术 2009年，甲型H1N1流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而Google对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据相关性高达97%，能够立刻判断出流感是从哪里传播出来的，没有一两周的滞后。 Google处理了5000万条历史记录、4.5亿个不同的数学模型。 什么是大数据 * 大数据技术 Farecast是一个对机票价格进行预测的公司，帮助消费者抓住最佳购买机票的时机，使乘客节省很多钱。 最初预测系统建立在41天之内的12000个价格样本基础上，数据是从旅游网站上抓取的，如今已经拥有超过2000亿条飞行记录。 系统只推测机票的价格何时最便宜，同时分析是什么原因导致的价格下降。 Farecast→Bing 什么是大数据 * 大数据技术 大数据 的特性 更关注 相关性 主要用 于预测 数据量 巨大 实时性 要求高 大数据的特征 * 大数据技术 大数据是在传统数据库学科的分支-数据仓库与数据挖掘的基础上进一步发展起来的。但有两点比较主要的不同： 结构化程度 传统数据库保存的是结构化或者半结构化的数据，以二维表或者标准XML文件的方式存储数据，由于结构清晰，处理相对容易； 大数据面向的是一切计算机可以存储的数据格式，包括互联网上的各种网页、图片、音频、视频，包括办公文档、报表，包括人们在搜索引擎中输入的关键词、在社交网络中的留言、喜好，也包括各种传感器自动收集的监控结果等等，显然不同的格式处理起来更加困难。 异常数据的处理 传统数据库通常把异常数据先剔除，应用在需要高精确度的领域，如银行对每个账户的管理； 大数据则允许异常数据存在，更多应用在预测方面，找出大量数据中隐藏的关联关系，少量异常数据不会对总体结果产生影响。 大数据与传统数据库的区别 * 大数据技术 大数据、物联网、云计算、移动通信等都是近年涌现出来的新兴概念，彼此之间不是孤立的，而是存在着内部联系。 大数据与其他新兴技术的关系 * 大数据技术 处理的对象往往是全部数据，而不是部分数据的采样 采样的不合理会导致预测结果的偏差，在大数据时代，依靠强大的数据处理能力，应该去处理全部的数据。 不再执迷于精确性 精确的、规范化的、可以被传统数据库处理的数据只占全部数据的5%，必须接受不精确性才能处理另外95%的数据。 错误的数据是客观存在的，竭力避免它就失去了应有的客观性和公平性。 大数据的简单算法比小数据的复杂算法更有效。 更加关注相关性，而不是因果性 预测依靠的是相关性。 很多情况下知道“是什么”即可，不必知道“为什么”。 大数据带来思维方式的变化 * 大数据技术 数据 数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。 技术 技术供应商或者分析公司。掌握了从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。 思维 有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。 大数据的价值链 * 大数据技术 大数据 = 海量数据 + 复杂类型的数据 海量交易数据: 企业/机构的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。 大数据包括: 交易数据和交互数据集在内的所有数据集 海量交互数据: 源于互联网的社交媒体数据构成(日志和非结构化数据)；源于物联网的设备和传感器采集数据(日志和非结构化数据)； 源于GPS和地理定位映射数据； 医疗/监控产生的海量图像文件； 科学计算/电子邮件等等。可以告诉我们未来可能会发生什么。 海量数据处理: 大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如在商用硬件群中运行的各种