大数据平台云化的技术分析和问题探讨.pdfVIP

固E固态邀握蕉苤皇虐旦 doi：10 1000—1247，201506006 39694．issn 大数据平台云化的技术分析和问题探讨 王峰杨明川 中国电信股份有限公司北京研究院 Ⅱ引言 Platform,S．务、阿里的ODPS等。 作为“互联网+”围家战略的重要组成部分，云计算与 (2)在能力层面，大数据平台云化的关键在于两者相互借 大数据的发展正在日益获得业界的关注。云计算环境为越来 鉴彼此的技术思路，提升自身的实现效能。在这一层面上， 越多的业务提供资源支持甚至直接为其提供来自云端的服 云计算在此前就已经引入了很多大数据平台的先进技术，最 务，大数据技术则对各种类型的海量数据进行分析和处理以 典型的是大数据领域的分布式存储技术，凭借其出色的扩展 性、容错性以及性价比，已经成为当前云存储服务的核心。 推动业务创新。在这一场景下，海量的数据在云里产生又在 云里使用，构成了大数据平台的重要数据来源；同时，多样 云计算与大数据在能力层面的融合是当前业界关注的焦 化、实时化的大数据平台的部署亟需更强大的部署管理能 点，主要研发方向包括：在计算能力上，利用云资源的按需 力，而云平台则在这方面具有先天的优势。 交付能力，满足大数据平台的动态资源扩展要求；在存储能 因此，基于云计算与大数据融合的技术研发和服务创新 力上，利用拥有无限容量的云存储能力支持大数据平台的数 正在成为发展趋势，其核心理念就在于大数据平台的云化承 据保存；在网络能力上，利用网络资源的按需调度能力，满 载，即利用云计算资源承载大数据平台。总体而言，大数据 足大数据处理过程中的突发流量需求。 平台的云化可以从资源、能力、业务三个层面展开。 (3)在业务层面，大数据平台云化主要体现在云计算平 (1)在资源层面，大数据平台云化的关键在于建立云计 台可以为大数据平台提供更真实、全面、丰富的海量数据供 算与大数据共享的资源池，该资源池可针对不同类型业务的 其做处理和分析，而大数据技术则可用于云计算服务类型的 实际要求实现资源的统一部署和协同调度，支持资源的集约 创新，提升用户体验，同时可以提供分析结果优化云计算服 务的设计与交付。 化利用。其中，利用云资源池承载大数据平台，需要做的主 要工作包括按照大数据集群规模要求，首先申请作为计算节 如前文所述，大量的数据都在云中产生和保存，通过 点的虚拟主机的硬件资源，进而选定计算节点模板部署软件 云计算与大数据在业务层面的融合，大数据平台能够更便捷 地利用云平台开放的数据接口获取数据，进而挖掘出更准确 系统，最后通过必要的配置形成最终的集群，而这一过程能 够获得云管理平台的自动化支持。 有效的数据价值。而在利用大数据技术扩展云服务方面，也 云计算与大数据在资源层面的融合已经成为业界的普 有很多的尝试，很多云平台在引入了大数据技术后能够为 遍共识，在很多企业的IT系统中，大数据平台都已经部署 用户提供数据的处理和分析服务，例女l：lGoogle在其众所周知 的搜索门户服务之外，增加了融入基于列的存储和搜索的 在云计算资源之上。同时，也有很多云计算服务提供商基 于其云计算平台运行大数据平台进而提供大数据服务，例 BigQueryfJE务，以更好地支持对海量数据的实时查询。 On Cloud 综上所述，在大数据平台的云化过程中，云计算与大数 女1]Amazon的EMR服务、Google的HadoopGoogle