大数据存储教学课件.pptx

绪论;随着互联网、物联网及云计算等技术的快速兴起，人类社会中数据的增长方式与以往任何时期都有了巨大的不同。不仅数据规模越来越大，数据形式越来越复杂，数据的更新速度越来越快，数据与人们生活的密切程度也越来越高。据美国互联网数据中心研究，仅仅互联网上的数据每年就呈现50%左右的增长。

除此之外，全世界的工业设备、交通工具、生活电器、移动终端，也都随时测量和传递着有关震动、位置、温度、湿度乃至人类之间相互联系的变化情况，海量数据已成为目前数据信息最明显的标签之一。

人类已经进入了一个“大数据”时代，数据的规模更加庞大，数据的种类不再单一，快速查询、定位并提供数据的要求也越来越高，与此紧密相关的数据存储与传统的数据存储相比亦发生了巨大变化。;为后续更好地学习大数据存储的相关知识，本项目将通过大数据简介及大数据存储技术的介绍，让读者对大数据技术体系及大数据存储技术有一定的了解，为真正生产环境中的存储技术选型奠定好架构设计的基础。;随着互联网、物联网及云计算等技术的快速兴起，人类社会中数据的增长方式与以往任何时期都有了巨大的不同。不仅数据规模越来越大，数据形式越来越复杂，数据的更新速度越来越快，数据与人们生活的密切程度也越来越高。据美国互联网数据中心研究，仅仅互联网上的数据每年就呈现50%左右的增长。

除此之外，全世界的工业设备、交通工具、生活电器、移动终端，也都随时测量和传递着有关震动、位置、温度、湿度乃至人类之间相互联系的变化情况，海量数据已成为目前数据信息最明显的标签之一。

人类已经进入了一个“大数据”时代，数据的规模更加庞大，数据的种类不再单一，快速查询、定位并提供数据的要求也越来越高，与此紧密相关的数据存储与传统的数据存储相比亦发生了巨大变化。;;大数据存储是大数据技术体系中的一部分。

为此，了解大数据的概念、特征和应用领域，熟悉大数据技术体系，是理解大数据存储技术的前提和基础。;“大数据”一词早在上世纪80年代就已提出，并于2009年开始成为IT行业的流行词汇，但作为一个??为抽象的概念，至今业界还没有对“大数据”给出一个确切、统一的定义。

维基百科：在合理的时间内，无法运用传统的数据库管理工具或数据处理软件，完成捕获、管理和处理等功能的大型而复杂的数据集。

麦肯锡：大数据是指在一定时间内无法用传统数据库软件工具采集、存储、管理和分析其内容的数据集合。

Gartner：大数据是指需要借助新的处理模式才能拥有更强的决策力、洞察发现力和流程优化能力的具有海量、多样化和高增长率等特点的信息资产。

;大数据的特征;目前，大数据已渗透到各行业和各业务职能领域。

电商行业：通过海量的商品交易数据，不仅可以统计出消费热点、客户的消费习惯、消费特点、影响消费的因素等，还能预测出消费趋势、流行趋势等。

医疗行业：在疫情追踪、溯源与预警、辅助医疗救治、助力资源合理配置及辅助决策中得到广泛应用，提升各地疫情防控工作效率。为防控“战役”提供了重要支持。

交通行业：通过提前预测道路交通情况，为出行提供优化方案，在助力交通部门提高道路交通把控能力，防止和缓解交通拥堵等方面起到了极为重要的作用。

;大数据的技术体系，就是以从各种类型海量数据中快速获取有价值的信息为目的，由大量在大数据领域涌现出的数据采集、存储、处理和呈现等相关技术所组成的相互联系的技术整体。;;数据可以存储在文件、数据库或数据仓库中。

为此，首先解释3种数据存储的方式，然后对数据库存储中常用的分布式数据库进行简要介绍。;数据存储简介;数据存储简介;数据存储简介;数据存储简介;分布式数据库简介;分布式数据库;分布式数据库;人类已经进入了一个“大数据”时代，数据的规模更加庞大，数据的种类不再单一，快速查询、定位并提供数据的要求也越来越高，与此紧密相关的数据存储与传统的数据存储相比亦发生了巨大变化。

首先介绍了大数据的概念、特征、应用领域和技术体系。

再根据数据的存储方式介绍了大数据技术体系中的存储技术。

分布式数据库的概念

分布式数据库的特点

分布式数据库的分类;;结构化数据仓库——Hive;信息时代的来临使得企业营销焦点从以产品中心转变为以客户为中心，客户关系管理成为企业的核心问题。客户关系管理的关键问题是客户分类，通过客户分类，可以得到不同价值的客户，从而采取个性化服务方案，将有限营销资源集中于高价值客户，实现企业利润最大化目标。

国内某航空公司面临着常旅客流失，竞争力下降和航空资源未充分利用等经营危机。目前该航空公司已积累了大量的会员档案信息和其乘坐航班记录，数据字段及其说明如右表所示。实现航空公司客户价值分析首先需要对航空客户数据进行探索分析和处理，考虑到数据量、数据类型的问题，将使用Hive数据仓库工具对航空客户数据进行数据存储、探索分析和处理。

;本项