基于Hadoop的广西移动云详单系统设计和实现.pdfVIP

技术 D 应用 IGITCW Technology Application 基于Hadoop的广西移动云详单系统设计和实现 韩 冬，魏立勤，唐伟帼 （中国移动通信集团广西有限公司，南宁 530022） 摘要：为客户提供便利准确的详单查询服务，对于维系客户忠诚度具有重要意义。为解决传统的详单查询系统高并发 查询性能低、查询响应速度慢、扩容周期长等问题，基于Hadoop分布式架构的思路，设计和实现了广西移动云详单查询系 统。该系统由话单预处理子系统、详单存储子系统及详单查询服务子系统三个子系统组成。引入分布式数据库替换传统小 型机数据库架构，基于X86设备实现详单处理的分布式架构，提高详单查询效率；采用分布式数据储存技术，提高系统高可 用行和稳定性。 关键词：Hadoop；分布式架构；HBase；云详单 doi：10.3969/J.ISSN.1672-7274.2017.04.061 中图分类号：TP311.52 文献标示码：B 文章编码：1672-7274（2017）04-0140-02 1 系统采用的关键技术—— Hadoop介绍 该系统是基于Hadoop的分布式架构设计。Hadoop 是一个由Apache 基金会开发的分布式系统基础架 构，是 目前最主流的云计算平台，使得处理海量数 据更加容易。Hadoop 框架作为一种开源的分布式 数据管理平台，它由HDFS ，MapReduce ，Hive ， HBaase 等十几种组件组成。Hadoop 是一个能够让 用户轻松架构和使用的分布式计算平台。用户可以 轻松地在Hadoop上开发和运行处理海量数据的应 图 云详单系统总体功能架构图 用程序。它具有高可靠性、高扩展性、高效性、高容 1 错性、低成本等五大优点。 2 系统实现方案 式并行计算框架进行话单数据字段的清洗，删除 没用的字段及数据分类等工作，将最终结果导入到 为解决大数据量高并发查询、动态扩展、非结 构化数据存储等挑战，该系统引入分布式数据库替 OCNoSQL （基于Hadoop+MapReduce+HBase 的 分布式数据库系统产品）存储中。 换传统小型机数据库架构，基于X86设备实现详单 处理的分布式架构，提高详单查询效率；采用分布 数据预处理需要先从F T P上拿到原始话单数 式数据储存技术，提高系统高可用行和稳定性。 据，即从F T P 载入到预处理存储平台中进行多副 本的保存，然后会根据进行无效字段删除，数据字 2.1 系统总体架构 段转译 （将原始话单文件各个字段 的内容进行转 由图1可知，云详单查询系统主要由三个子系统 义），并进行话单过滤，将重复话单删除，在做完 组成：话单预处理子系统、详单存储子系统及详单 上述工作后，将完成预处理业务逻辑的数据文件输 查询服务子系统。