《大数据与云计算》课件——1.大数据基础知识.pptxVIP

大数据与云计算智能建造技术专业资源库

知识点1.大数据概述

3大数据应用4大数据的定义1大数据的特点2大数据的发展大数据概述

大数据概述一、大数据的定义大数据是一个不断发展的概念,可以指任何体量或复杂性超出常规数据处理方法和处理能力的数据海量数据结构化数据半结构化数据数据本身可以是结构化、半结构化甚至是非结构化的

大数据概述狭义上讲,大数据主要是指处理海量数据的关键技术及其在各个领域中的应用广义上讲,大数据包括大数据技术、大数据工程、大数据科学和大数据应用等与大数据相关的领域

大数据的特点Volume(体量)。通过各种设备产生的海量数据体量巨大,远大于目前互联网上的信息流量Variety(多样)。大数据类型繁多，在编码方式、数据格式、应用特征等多个方面存在差异Velocity(速率)。数据以非常高的速率到达系统内部，这就要求处理数据段的速度必须非常快二、大数据的特点大数据概述

大数据概述大数据技术是一种新一代技术和构架,它成本较低,以快速的采集、处理和分析技术从各种超大规模的数据中提取价值。三、大数据的发展

大数据概述三、大数据的发展A大数据采集与预处理方向——目前很多公司已经推出了多种数据清洗和质量控制工具(如IBM公司的DataStage)C大数据计算模式方向——目前出现了多种典型的计算模式,包括大数据查询分析计算(如Hive)、批处理计算(如HadoopMapReduce)等E大数据可视化分析方向——通过可视化方式来帮助人们探索和解释复杂的数据,有利于决策者挖掘数据的商业价值,进而有助于大数据的发展B大数据存储与管理方向——这个方向最常见的挑战是存储规模大,存储管理复杂,需要兼顾结构化、非结构化和半结构化的数据D大数据分析与挖掘方向——在数据量迅速增加的同时,还要进行深度的数据分析和挖掘,并且对自动化分析要求越来越高F大数据安全方向——文件访问控制权限ACL、基础设备加密、匿名化保护技术和加密保护等技术正在最大程度地保护数据安全

大数据概述梅西百货的实时定价机制根据需求和库存的情况,该公司基于SAS的系统对多达7300万种货品进行实时调价四、大数据的应用

大数据概述Tipp24AG针对欧洲博彩业构建的下注和预测平台该公司用KXEN软件来分析数十亿计的交易以及客户的特性,然后通过预测模型对特定用户进行动态的营销活动四、大数据的应用

大数据概述沃尔玛的搜索这家零售业寡头为其网站W自行设计了最新的搜索引擎Polaris，利用语义数据进行文本分析、机器学习和同义词挖掘等四、大数据的应用

大数据概述TescoPLC(特易购)和运营效率这家连锁超市在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析进行更全面的监控,并进行主动的维修以降低整体能耗四、大数据的应用

大数据概述2大数据的发展3大数据应用1大数据的特点4大数据应用课程总结

思考：我们应该怎样学好大数据知识？

知识点2.大数据的相关技术

3海量数据存储的关键技术1大数据的存储问题2大数据存储技术的发展大数据相关技术

一、大数据的存储问题大数据的相关技术容量-“大容量”通常是指可达PB级的数据规模延迟-大数据应用不可避免地存在实时性的问题安全-催生出了一些新的、需要重新考虑的安全性问题成本-只有让每一台设备都实现更高的“效率”，才能控制住成本灵活性-大数据存储系统的基础设施规模都很大,为了保证存储系统的灵活性,使其能够随时扩容及扩展

大数据的相关技术二、大数据存储技术的发展人工管理数据库文件系统GoogleFileSystem、HDFS、HBaseetc

大数据的相关技术三、海量数据存储的关键技术大数据处理面临的首要问题是如何有效地存储规模巨大的数据数据分片和数据复制

大数据的相关技术数据分片与路由对于海量数据,将数据进行切分并分配到各个机器中的过程叫分片(shard/partition)，即将不同数据存放在不同节点01数据分片后，找到某条记录的存储位置称为数据路由(routing)02数据分片与路由的抽象模型如右图所示03

大数据的相关技术数据分片把数据的各个部分存放在不同的服务器/节点中,每个服务器/节点负责自身数据的读取与写入操作,以此实现横向扩展,这种技术称为分片01如何存放数据-可以实现用户从一个逻辑节点(实际多个物理节点的方式)获取数据,并且不用担心数据的存放位置02如何保证负载平衡-即如何把聚合数据均匀地分布在各个节点中,让它们需要处理的负载量相等03

大数据的相关技术数据复制与一致性将同一份数据放置到多个节点(主从master-slave方式、对等式per-t