中国移动省级公司大数据平台建设若干关键问题与探讨.pdfVIP

移动互联网 中国移动通信集团设计院第20届新技术论坛论文集 亚厶 中国移动省级公司大数据_广口 建设若干关键问题探讨 张金刚，王昕，耿辉 陕西分院 摘 要：结合中国移动x公司大数据平台建设方案，对大数据平台定位、平台架构、数据源的选择与接入、 数据存储和计算技术的选择、数据共享、应用层要求、大数据平台与经营分析系统融合等关键问题进行探 讨，为大数据平台建设积累经验。 关键词：大数据平台，关键问题 由此可见，大数据平台的定位是不但要解决传统IT l 引言 系统的瓶颈，还要支撑大数据运营的重任。不新建 互联网产业在电子商务、定向广告、智能推荐、 大数据平台或不全面地改造经营分析系统，只在经 社交网络等方面积极应用大数据技术，取得了巨大 营分析系统数据处理层引入大数据技术，不能满足 的商业成功。这启发全社会开始重新审视数据的巨 未来大数据运营需求。 大价值，拥有大量数据的中国移动也开始尝试这种 2．2大数据平台的架构 新的理念和技术，但一些省公司建设的大数据平台 IT系统的逻辑架构都是一样的，都是按照数据 存在平台定位不清、系统架构不合理、数据选择不 的生命周期搭建，～般包括5个部分：数据源、数 完整、大数据技术选择盲目等问题，在此情况下， 据采集、数据处理、接口和应用。x公司大数据平 研究和讨论大数据平台建设的关键问题非常必要和 台的架构如图1所示。 紧迫。 大数据平台架构层次虽然与传统的经营分析系 统一致，但每一层都面临不同程度的挑战。 2大数据平台建设的关键问题 (1)数据源 本文将结合X省级公司大数据平台建设情况， 数据源将更加丰富，除了业务支撑域的数据外， 对大数据平台建设中的关键问题进行探讨。 还将引入网络管理域、管理信息域及互联网数据。 2．1大数据平台的定位 数据格式、数据采集点、采集方式和采集技术也呈 省级公司建设大数据平台的驱动分为2种：被 多样性。如数据格式可能涉及结构化数据、半结构 迫和主动。“被迫”是指随着数据量的增加和应用复 化数据和非结构化数据；采集技术可能涉及DPI、 杂度的增大，基于传统架构搭建的经营分析系统存 爬虫等技术。 储、I／O和计算能力成为瓶颈，不得以在经营分析 (2)数据采集 系统中引入大数据技术(主要是分布式系统)；“主 与以往数据分析相比，大数据不仅数量庞大、格 动”是指希望通过充分分析、挖掘自身所掌握的数 式不一，质量也良莠不齐。这就要求数据采集环节一 据，支撑业务运营和寻找新的商机，因现有经营分 方面要规范数据格式，便于后续存储管理：另一方面 析系统能力局限而引入大数据技术。 要在尽可能保留原有语义的情况下去粗取精。 中国移动对大数据的态度是要逐渐从网络运营 (3)数据存储 发展至网络运营+数据运营。集团2014年工作会中 当前中国移动数据量增长速度非常快，随着4G 提出近期大数据运营的目标是初步建成大