第三代业务支撑系统Hadoop云详单存储分册素材.docxVIP

中国移动通信企业标准QB-╳╳-╳╳╳-╳╳╳╳Hadoop云详单存储分册版本号：1.0.0╳╳╳╳-╳╳-╳╳实施╳╳╳╳-╳╳-╳╳发布中国移动通信集团公司 发布目　　录前言II1.范围12.规范性引用文件13.术语、定义和缩略语14.总体说明24.1.驱动力24.2.编写目标34.3.编写原则35.总体架构35.1.系统架构35.2.系统部署45.2.1.组网方式45.2.2.存储模型65.2.3.服务器配置65.2.5.节点规划示例86.系统功能96.1.详单应用96.1.1.详单入库96.1.2.用户详单查询106.1.3.运维详单查询106.1.4.批量导出116.1.5.详单删除116.1.6.数据统计126.2.运维管理126.2.1.详单备份126.2.2.部署管理126.2.3.监控管理136.2.4.告警管理146.2.5.任务管理166.2.6.配置管理166.2.7.监控展示166.2.8.安全管理176.2.9.日志管理176.2.10.数据稽核186.2.11.数据清理187.非功能性要求198.编制历史19附录AHadoop介绍20附录B数据模型设计建议24附录C系统调优建议26前 言本标准以第三代业务支撑系统整体规划为指导，明确定义了中国移动Hadoop云详单存储系统的功能架构，用以指导现有详单系统的建设。本标准主要包括：Hadoop云详单存储总体架构、功能及运维管理要求等。本标准是?????系列标准之一，该系列标准的结构、名称或预计的名称如下：序号标准编号标准名称例[1][2][3][4][5][6][7]…………本标准需与企业标准编号《企业标准名称》配套使用。本标准的附录?????为标准性附录，附录?????为资料性附录。本标准由中移?????号文件印发。本标准由中国移动通信集团?????提出，集团公司技术部归口。本标准起草单位：?????本标准主要起草人：?????1.范围本规范针对采用Hadoop技术的详单存储系统提出建设要求，供中国移动内部和厂商共同使用，适用于中国移动各省（直辖市、自治区）详单存储系统的建设。本规范从提升详单存储系统的存储能力、查询能力、扩展能力出发，明确在引入Hadoop技术后，详单存储系统的架构、功能及运维管理要求。2.规范性引用文件下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。序号标准编号标准名称发布单位例：[1][2]3.术语、定义和缩略语下列术语、定义和缩略语适用于本标准：词语解释HadoopHadoop 是一个由 Apache 基金会所管理的分布式系统基础架构。用户可以在不了解底层分布式细节的情况下开发分布式程序，用于实现对海量数据进行分布式存储和计算HDFSHDFS是一个高容错性的分布式文件系统，能够提供高吞吐量的数据访问，由一个NameNode和多个DataNode组成。HBaseHBase是分布式的、面向列的开源数据库，数据以特定格式的文件方式存放在集群内数据节点的磁盘中。MapReduceMapReduce是Hadoop一种并行计算框架，用于大规模数据集的并行运算，其缩略语为MR。YARNYARN是Hadoop2.0引入的并行计算框架，解决了MapReduce框架中可扩展性、内存消耗、线程模型、可靠性和性能上的缺陷。ZooKeeperZooKeeper是一种分布式的协调服务，提供分布式同步、分组的协调服务，保证分布式环境中数据的强一致性。Hive基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为数据库表，并提供常用的SQL支持。Hive查询引擎将SQL语句转换为Hadoop 平台的MapReduce任务运行。Key-value键值对，其缩略语为K-V。K-V StoreKey-Value 存储引擎，业界使用广泛的有Google BigTable和Apache HBase、Cassandra、MangoDB等。K-V Store系统是经典的NoSQL实现，与传统的关系型数据库相比，目前不支持SQL语言查询、事物、回滚等复杂机制。基于K-V Store开发的应用，其数据表设计模式也与基于关系型数据库的开发有显著区别。由于K-V Store模型简单，可靠性高，易于扩展，在互联网、云计算领域有非常广泛的应用。JDBCJava数据库连接4.总体说明本规范针对在详单存储系统中引入Hadoop技术提出具体要求，以指导各省（直辖市、自治区）详单存储系统的建设与改造，从而为4G业务的发展提供强有力的支撑。4.1.驱动力随着4G业务的发展，