大数据汇聚关键技术与统一架构研究.docxVIP

doi:10.3969/j.issn.1000-1247.2015.01.007大数据汇聚关键技术与统一架构研究夏文忠中国电信股份有限公司江苏分公司引言大数据时代背景下，电信运营商在数据的总量、数据海量非结构化数据则显得力不从心。以Hadoop为代表的大数据技术，对海量数据的处理效率非常高，擅长处理非结构化和半结构化数据；同时，云计算技术能够为规模不断扩大的数据提供具备丰富弹性的存储空间，而且能够更好地把海量的数据计算任务转移到云的平台当中，并且确保这些原始数据的完整性。从系统建设来看，运营商分散建设了经营分析、CRM、BI、DPI等业务支撑系统，他们各自拥有庞大的数据资源，但是在数据的采集、存储、分析计算以及应用等多个环节都是各系统独立进行，存在单个数据源，多个业务支撑系统同时采集的现象。这样频繁的数据采集，增加了网元的负载；系统间的数据交叉采集，甚至带来安全隐患；分散的数据存储，造成标准化缺失、数据模型不统一，跨系统综合分析能力不足；各自独立的数据分析计算，难以实现资源和应用的共享，造成资源重复建设，造成应用的重复开发，造成人力、财力的浪费。的形态、数据的服务方式以及数据的关联关系等方面都发生了变化，运营商要对云计算、大数据等技术进行探究，更需要依靠这些技术进行商业模式、经营理念和管理方式等方面的探索，培养企业的核心竞争力。因此，下文设想建设融合企业级全量数据与外部市场数据的大数据汇聚中心，依托企业式计算集群，运用云计算技术与大数据技术，以更高的效率、更低的成本去分布式处理这些海量的结构化与非结构化数据，进而形成高价值、高密度、高聚合的结构化数据，同时将不同需求、不同业务有效整合，为上层的应用提供个性化的数据定制服务。大数据汇聚的应用研究2.1大数据汇聚的现状从数据资源来看，相比技术更成熟的互联网公司，作为网络服务接入者和网络内容承载者的电信运营商，拥有着更准确、更全面的数据资源。以Google、Amazon、阿里巴巴为代表的互联网行业使用云计算与大数据技术，已经发掘出大数据中蕴含的商业价值，但是运营商对于要采集什么性质的数据，对数据进行何种分析以及对分析结果做何种预测或决策，都没有进行充分的调研和探究，仍然依靠过去从传统的通信产品、服务中积累的经验，对面向每一个用户的业务行为、使用习惯等未能进行深入分析，没能将其真正转化为价值，浪费了巨量的数据资源。从应用技术来看，电信运营商使用传统关系型数据库，对结构化数据能进行复杂的关联分析、多维挖掘，但是应对2.2大数据汇聚需要解决的问题大数据汇聚与传统数据采集的核心意义是一致的，传统采集的数据具备一定的结构性，生成频率具有规律性，处理规则相对简单。但是大数据汇聚要面对体态更庞大的数据集，包括：传统的计费域数据、DPI数据（每日达到23TB，峰值达到每秒7GB）、宽带互联数据、信令类数据以及外部市场数据，这些数据多属无固定结构，生成频率亦无规律可循，处理规则更加复杂。所以，需要解决数据的全量接入，数据的融合计算，群集的高效管理这三方面的问题，才能确保大数据汇聚的成功。32TELECOMMUNICATIONSTECHNOLOGY/2015·1以数据的全量汇聚为基础，以数据的融合计算为核心，以实现对海量数据的接入、存储和处理为目标，设计“一个整体适用框架，两种处理核心，三种接入方式，四种交付模式”的大数据汇聚中心，适应电信运营商的大数据发展要求。关键词大数据汇聚关键技术统一架构摘要2.3大数据汇聚的建设目标大数据的发展改变了IT系统的建设方式，从以数据用于计算的传统方式，向以提高计算能力服务于数据的方式转变。为顺应这个发展趋势，我们提出以“数据的全量汇聚为基础，数据的融合计算为核心”的系统模型来建设大数据汇聚中心，以其高效的数据汇聚能力与数据计算能力，为企业的运营提供服务与支撑。从物理层面看，大数据汇聚中心可以采用异构的组网模式。数据的计算，由廉价的刀片式服务器或者虚拟主机作为计算节点，以此构建数据计算群集；数据的存储，可由计算节点的本地磁盘、存储阵列、分布式文件系统（如HDFS、CFS、GLUSTERFS等）、NAS等组成，以此构成数据存储群集。从系统层面看，大数据汇聚中心在物理层面的数据计算群集和数据存储群集需要统一管理，从功能上可划分为中枢管理群集和枢纽服务群集。中枢管理群集，起到中枢神经的作用，管理着群集中所有类型的节点；枢纽服务群集，作为服务的提供者，接受中枢管理群集的管理，需要与数据、应用交互，提供数据的接入服务、数据的处理服务、数据的交付服务。集，需要大数据汇聚中心与数据网元约定统一的流式接口，大数据汇聚中心向数据网元发送数据订阅请求，等待数据网元返回的数据订阅响应，大数据汇聚中心根据消息格式进行解析、校验流消息，将合法的消息转换为内部格式的事件，推送给数据交付模块，同时