非结构化数据存储解决方案.docxVIP

1.非结构化数据存储

非结构化数据存储架构

文件存取统一接口

HadoooHDFS HBase

在上图中，描述了非结构化数据存储架构的基本组成部分，其中：

文件存取统一接口，封装了对数据中心所以非结构化数据的读写操作接口。

HadoopHDFS负责对大文件的存储，以HDFS：为文件协议标准

HBase通过维护一张文件表完成对小文件的存储，以HBase：为文件协议标识

1.1文件存取统一接口

1.1.1文件存储接口

对文件进行存储前，接口根据文件的大小和HDFS文件分块的配置大小进行比较，当文件超过设定大小时，接口认为该文件是大文件，直接分配到HDFS文件存储接口进行写入；否则当文件小与块大小时，根据系统维护的Hbase小文件存储通用存储表进行存储管理。

IF%哺璋二|时口冒文件徉摘提匚

IF%哺璋二|时口冒

文件徉摘提匚

必注

_LF.=rr_

王Ml?住科祐L；

一心

圈引惜M仙!IF：乔死淀在

成:口:m＜r储咆

itit

二*，Ig

对直接存储到HDFS的文件，则文件路径以HDFS为中心存储文件协议头，文件路径则根据该文件的业务属性做完文件的路径，文件名称保留原有名称，例如：HDFS://aaa/bbb.zip

对通过Hbase管理的小文件，则文件路径以HBASE为中心存储文件协议头，文件路径不需要分文件夹，直接以文件的唯一标识标识即可，例如：HBAS