Facebook数据仓库揭秘之RCFile高效存储结构(doc7页).docxVIP

Facebook数据仓库揭秘之 RCFile高效存储结构（doc 7页） Facebook数据仓库揭秘：RCFile高效存储结构 本文介绍了 Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储 的优点于一身，在MapReduce环境下的大规模数据分析中扮演重要角色。 Facebook 曾在 2010 ICDE (IEEE International Conference on Data Engineering)会 议上介绍了数据仓库Hiveo Hive存储海量数据在Hadoop系统中，提供了一套类数据库的数据 存储和处理机制。它采用类SQL语言对数据进行自动化管理和处理，经过语句解析和转换，最 终生成基于Hadoop的MapReduce任务，通过执行这些任务完成数据处理。图1显示了 Hive 数据仓库的系统结构。 Web Ul * Hive CLI + JDBC/ODBCMap ReduceHDFSBrowse, Query, DDLMetaStoreHive QLThrift APIHive QLParserUser-definedMap-reduce ScriptsThrift API□PlannerExecutionPlanner ExecutionOptimizerOptimizerFileFormatsFileFormatsText FileSequenceFileRCFileText FileSequenceFileRCFile Web Ul * Hive CLI + JDBC/ODBC Map Reduce HDFS Browse, Query, DDL MetaStore Hive QL Thrift API Hive QL Parser User-definedMap-reduce Scripts Thrift API □ Planner Execution Planner Execution Optimizer Optimizer FileFormats FileFormats Text FileSequenceFileRCFile Text File SequenceFile RCFile 图1 Hive数据仓库的系统结构 基于MapReduce的数据仓库在超大规模数据分析中扮演了重要角色，对于典型的Web服务 供应商，这些分析有助于它们快速理解动态的用户行为及变化的用户需求。数据存储结构是影 响数据仓库性能的关键因素之一。Hadoop系统中常用的文件存储格式有支持文本的TextFile 和支持二进制的SequenceFile等，它们都属于行存储方式。Facebook I程师发表的RCFile： A Fast and Spaceefficient Data Placement Structure in MapReducebased Warehouse Systems 一文，介绍了一种高效的数据存储结构 RCFile (Record Columnar File),并将其应用于 Facebook的数据仓库Hive中。与传统数据库的数据存储结构相比，RCFile更有效地满足了基 于 MapReduce 的数据仓库的四个关键需求，即 Fast data loadings Fast query processings Highly efficient storage space utilization 和 Strong adaptivity to highly dynamic workload patternso 数据仓库的需求 基于Facebook系统特征和用户数据的分析，在MapReduce计算环境下，数据仓库对于数 据存储结构有四个关键需求。 Fast data loading 对于Facebook的产品数据仓库而言，快速加载数据（写数据）是非常关键的。每天大约 有超过20TB的数据上传到Facebook的数据仓库，由于数据加载期间网络和磁盘流量会干扰正 常的査询执行，因此缩短数据加载时间是非常必要的。 Fast query processing 为了满足实时性的网站请求和支持高并发用户提交査询的大量读负载，査询响应时间是非 常关键的，这要求底层存储结构能够随着查询数量的增加而保持高速的査询处理。 Highly efficient storage space utilization 高速增长的用户活动总是需要可扩展的存储容量和计算能力，有限的磁盘空间需要合理管 理海量数据的存储。实际上，该问题的解决方案就是最大化磁盘空间利用率。 Strong adaptivity to highly dynamic workload patterns 同一份数据集会供给不同应用