福建公司_大数据经验交流_201310.ppt

技术实现方案—总体框架 通话详单、账务详单以文件方式载入到帐详单系统，通过ETL转换后载入到HBASE的原始清单表、查询清单表、以及MPP的统计库。 原始清单库存放所有最明细的清单信息，为故障处理、新统计需求开发提供数据源。 查询清单库存放用户需要查询的关键字段。 MPP统计库主要作为账务报表统计，收入保障的统计数据源。 清单云平台采用Hadoop+MPP混合架构，以PC服务器搭建大规模存储集群。在数据处理方面：引入数据抽取、转换、加载工具ETL，在入库前对详单中的各个字段含义进行翻译，服务接口不再进行翻译，提升查询效率；在分布式存储方面：引入基于x86服务器的分布式存储技术，主要由HBase、数据库集成等功能组成，在提高系统的扩展性和弹性的同时，可以方便、快速地为应用增加或减少资源。 主要技术方案—数据存储管理 HBASE的所有数据均存储在HDFS上，将文件划分成block（可配置大小），在多个datanode上存放副本，以保障大数据系统的可靠性 划分多个Region对数据进行管理，RegionServer负责各个Region数据的存储和读写，以多机并行的方式进行，提升性能。 HBase的所有数据(Hlog 和 Hfile)均存储到HDFS上 HDFS将文件划分为64MB的block，并存储多个副本 通过client读写数据 RegionServer负责Region