电信业云详单处理系统设计分析.PDF

第４１卷第４期 数　字　通　信 Ｖｏｌ４１，Ｎｏ．４ 　　　　 ４６ ２０１４年８月２５日 ＤｉｇｉｔａｌＣｏｍｍｕｎｉｃａｔｉｏｎ Ａｕｇ．２５　２０１４ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００５３８２４．２０１４．０４．０１２ 电信业云详单处理系统设计 １ ２ 常润梅 ，孟利青 （１．内蒙古电子信息职业技术学院软件系，呼和浩特０１００７０；２．中国移动通信集团内蒙古有限公司业务支撑系统部，呼和浩特０１００２０） 摘　要：为了解决电信企业计费系统对服务器资源计算需求量大和运行效率差的问题，提出了一种基于Ｈａｄｏｏｐ的 大数据量解决方法，该方法提供了一个可靠的共享存储和分析系统。理论与实践分析显示，所建系统与传统小型 机架构相比，能够实现全面的缓存技术支持，实时高并发写入与数据读取，高级压缩比，数据高可用性，自动容灾。 同时可实现数据库容量与性能支持在线扩展，自动故障探测和管理，使投资成本降低８０％，计算性能提升８倍。 关键词：云计算；Ｈａｄｏｏｐ；通话详单；系统设计 中图分类号：ＴＮ９１　　　　　　文献标识码：Ａ 文章编号：１００５３８２４（２０１４）０３００４６０４ 有ＨＤＦＳ就不能进行ＭａｐＲｅｄｕｃｅ运算。 ０　引　言 １．１．１　ＨＤＦＳ 当前，大数据时代的浪潮汹涌而来，为ＩＴ产业 １）设计原理。 带来了新的机遇、新的变革和新的发展。在当前 构建一个非常庞大的分布式文件系统，在集群 的全业务运营环境下，电信企业面临存储资源紧 中节点失效是正常的。节点的数量在Ｈａｄｏｏｐ中不 张的现状。存储资源消耗急剧上升，单一省公司 是固定的。单一的文件命名空间，保证数据的一致 计费数据库占用存储 １００Ｔ左右，每月呈现出以 性，一次写入多次读取。典型的６４ＭＢ的数据块大 ５００Ｇ的绝对值增长趋势。在这种趋势下，不得不 小，每一个数据块在多个ＤａｔａＮｏｄｅ有复制。客户端 购买更多磁盘、磁带等存储设备，而管理越来越复 通过ＮａｍｅＮｏｄｅ得到数据块的位置，直接访问Ｄａｔａ 杂，主机的压力越来越高，机房的空间也变得越来 Ｎｏｄｅ获取数据。 越拥挤，冷却系统也开始有些不堪重负。这些都 ２）文件操作。 让一个问题更加激化，那就是数据量增长迅猛，存 ［２］ ＨＤＦＳ 并不是一个万能的文件系统。它的主 储成本不断提高，因此，在有限的投入之下，要想 要目的是支持以流的形式访问写入的大型文件。如 做到高效查询、灾难备份、数据保护和便捷管理 果客户机想将文件写到ＨＤＦＳ上，首先需要将该文件 等，可能早已让预算捉襟见肘。数据是业务运转 缓存到本地的临时存储。如果缓存的数据大于所需 的基础，不管一个企业的数据量是多少，这些数据 的ＨＤＦＳ块大小，创建文件的请求将发送给ＮａｍｅＮｏ 都是关乎着企业命脉的宝贵资产。随着业务不断 ｄｅ。ＮａｍｅＮｏｄｅ将以ＤａｔａＮｏｄｅ标识和目标块响应客 发展，数据量的增长是十分惊人的，在庞大的数据 户机。同时也通知将要保存文件块副本的ＤａｔａＮｏｄｅ。 量背后，企业面临的数据维护问题主要涉及存储