大数据技术与应用（第2版）课件：大数据存储.pptx

大数据存储;大数据存储概述;传统数据的获取大多是人工的，或者是简单的键盘输入。如超市每天的营业额以及营业数据等，多数是以电子表格的方式录入并存储到计算机中，存储容量较小。

;在大数据时代，数据获取的方式有这样几类：爬虫抓取、用户留存、用户上传、数据交易和数据共享。;传统数据要么以线下传统文件的方式，要么以邮件或是第三方软件进行传输，而随着API接口的成熟和普及，API接口也随着时代的发展逐渐标准化、统一化。;大数据存储的数据类型与传统存储的数据类型差异较大。传统数据更注重于对象的描述，而大数据更倾向与对数据过程的记录。;大数据的存储中不仅存储数据的容量较大，更重要的是人们可以从存储的数据间找到相互的关系，从而能够对数据进行比对和分析，最终产生商业价值。;大数据存储的类型主要有以下三种：块存储、文件存储和对象存储。

;（2）文件存储;（3）对象存储

;大数据存储的方式;分布式存储

分布式系统包含多个自主的处理单元，通过计算机网络互连来协作完成分配的任务，其分而治之的策略能够更好的处理大规模数据分析问题。;（1）分布式文件系统

分布式文件系统HDFS是一个高度容错性系统，被设计成适用于批量处理，能够提供高吞吐量的的数据访问。

;（2）分布式键值系