大数据存储-全套PPT课件.pptx

绪论项目描述项目背景随着互联网、物联网及云计算等技术的快速兴起，人类社会中数据的增长方式与以往任何时期都有了巨大的不同。不仅数据规模越来越大，数据形式越来越复杂，数据的更新速度越来越快，数据与人们生活的密切程度也越来越高。据美国互联网数据中心研究，仅仅互联网上的数据每年就呈现50%左右的增长。除此之外，全世界的工业设备、交通工具、生活电器、移动终端，也都随时测量和传递着有关震动、位置、温度、湿度乃至人类之间相互联系的变化情况，海量数据已成为目前数据信息最明显的标签之一。人类已经进入了一个“大数据”时代，数据的规模更加庞大，数据的种类不再单一，快速查询、定位并提供数据的要求也越来越高，与此紧密相关的数据存储与传统的数据存储相比亦发生了巨大变化。项目描述项目目标为后续更好地学习大数据存储的相关知识，本项目将通过大数据简介及大数据存储技术的介绍，让读者对大数据技术体系及大数据存储技术有一定的了解，为真正生产环境中的存储技术选型奠定好架构设计的基础。项目描述项目分析随着互联网、物联网及云计算等技术的快速兴起，人类社会中数据的增长方式与以往任何时期都有了巨大的不同。不仅数据规模越来越大，数据形式越来越复杂，数据的更新速度越来越快，数据与人们生活的密切程度也越来越高。据美国互联网数据中心研究，仅仅互联网上的数据每年就呈现50%左右的增长。除此之外，全世界的工业设备、交通工具、生活电器、移动终端，也都随时测量和传递着有关震动、位置、温度、湿度乃至人类之间相互联系的变化情况，海量数据已成为目前数据信息最明显的标签之一。人类已经进入了一个“大数据”时代，数据的规模更加庞大，数据的种类不再单一，快速查询、定位并提供数据的要求也越来越高，与此紧密相关的数据存储与传统的数据存储相比亦发生了巨大变化。目录大数据简介1大数据的存储技术2任务描述大数据存储是大数据技术体系中的一部分。为此，了解大数据的概念、特征和应用领域，熟悉大数据技术体系，是理解大数据存储技术的前提和基础。大数据的概念 “大数据”一词早在上世纪80年代就已提出，并于2009年开始成为IT行业的流行词汇，但作为一个较为抽象的概念，至今业界还没有对“大数据”给出一个确切、统一的定义。维基百科：在合理的时间内，无法运用传统的数据库管理工具或数据处理软件，完成捕获、管理和处理等功能的大型而复杂的数据集。麦肯锡：大数据是指在一定时间内无法用传统数据库软件工具采集、存储、管理和分析其内容的数据集合。Gartner：大数据是指需要借助新的处理模式才能拥有更强的决策力、洞察发现力和流程优化能力的具有海量、多样化和高增长率等特点的信息资产。大数据的特征数据规模大数据种类多处理速度快数据价值密度低大数据的应用领域目前，大数据已渗透到各行业和各业务职能领域。电商行业：通过海量的商品交易数据，不仅可以统计出消费热点、客户的消费习惯、消费特点、影响消费的因素等，还能预测出消费趋势、流行趋势等。医疗行业：在疫情追踪、溯源与预警、辅助医疗救治、助力资源合理配置及辅助决策中得到广泛应用，提升各地疫情防控工作效率。为防控“战役”提供了重要支持。交通行业：通过提前预测道路交通情况，为出行提供优化方案，在助力交通部门提高道路交通把控能力，防止和缓解交通拥堵等方面起到了极为重要的作用。大数据的技术体系 大数据的技术体系，就是以从各种类型海量数据中快速获取有价值的信息为目的，由大量在大数据领域涌现出的数据采集、存储、处理和呈现等相关技术所组成的相互联系的技术整体。目录大数据简介1大数据的存储技术2任务描述数据可以存储在文件、数据库或数据仓库中。为此，首先解释3种数据存储的方式，然后对数据库存储中常用的分布式数据库进行简要介绍。数据存储简介文件系统是操作系统用于在分区上、存储设备上负责组织、存取与管理文件的机构，主要由3部分组成：与文件管理有关软件、被管理的文件以及实施文件管理所需的数据结构。其中，被管理的文件，即数据，是以文件的形式存储在各存储设备上，并由操作系统统一管理。分布式文件系统架构图1. 基于文件系统的数据存储数据存储简介数据库（Database）就是按照一定的数据结构（数据的组织形式或数据之间的联系）进行组织、存储和管理数据的仓库。通过数据库提供的多种方式可以方便地管理数据库里的数据。T 指那些非严格关系型的、分布式的、不保证遵循ACID原则的数据库指采用了关系模型来组织数据的数据库，以由行和列所组成的二维表格的形式存储数据。非关系型数据库关系型数据库2. 基于数据库的数据存储数据存储简介关系型数据库与非关系型数据库是人类社会在处理数据不同阶段而出现的不同产物，分别适用于不同的场景。关系型数据库非关系型数据库优势易理解建表灵活易使用储存灵活易维护处理数据量巨大不足海量数据处理效率低复杂查询能力弱数据库系统升级或扩展时