面向idc互联网行为分析的大数据平台设计与应用.pdf

运营 doi:10.3969/j.issn.1000-1247.2016.01.016 面向IDC互联网行为分析的大数据平台设计与应用 刘化召 中通服软件科技有限公司 依托互联网数据中心运营支撑系统的建设项目，通过建设面向IDC的网络行为分析平台，全面挖掘互联网用户 摘要 的行为信息，整合各类数据并深入分析，为IDC行业提供一个良性的市场导向，搭建一座IDC行业与互联网用户 的桥梁。通过深入挖掘互联网价值，获取行业宏观数据，帮助IDC企业了解及掌握自身在行业中的定位，优化 运营方案。 关键词 IDC 互联网+ 大数据 网络分析 引言 如图1所示。 继美日英等国相继推出大数据研究计划，大数据在我国 基于上述业务模式，研发团队进行了大量的技术研究和 已纳入国家顶层规划（“863”、 “973”等）。2013年，上 实验，确定了分布式、面向服务的系统架构，采用基于J2EE 海市科学技术委员会推出了《上海推进大数据研究和发展三 的B/S软件架构，核心技术包括IP包采集与策略控制技术、 年行动计划》，推进各类大数据平台的建设，惠及民众。大 流量分析技术、海量数据传输与分发、大数据存储与分析技 数据对科学研究、经济建设、社会发展和文化生活等各个领 术、互联网行为可视化呈现、基于微信/易信平台开发等。 域正在产生革命性的影响。 前端使用STRUTS2+AJAX+FLEX进行网页开发，应用层采 对于互联网服务提供商而言，网络用户的消费习惯、 用JBOSS Web服务器，接口层基于ESB平台的统一化、规范 兴趣爱好、关系网络以及整个互联网的趋势、潮流都是极具 化的接口服务管控。数据服务层采用Hadoop分布式文件系统 价值的信息，IDC是互联网的信息池，各类信息在这里保存 和传统关系型数据库Oracle，通过Hadoop实现DPI和网络流 和交互，如何利用这些有价值的信息数据带来更大的商业机 量海量数据的存储处理，其他普通结构化数据通过Oracle管 遇，是IDC客户迫切关心的问题。目前，业界的阿里巴巴数 理。面向互联网数据中心的网络行为分析平台的技术框架如 据魔方能够很好地挖掘用户行为，为阿里用户定位精准的信 图2所示。 息以及提供有效的市场决策导向。但阿里数据魔方的服务对 本平台采用的关键技术主要包括以下几种： 象只是阿里用户，无法跨行业挖掘分析全网的数据，因此急 (1)基于Hadoop/MapReduce的大数据处理技术； 需建设一个数据分析平台，整合IDC全网数据，深入挖掘分 (2)DPI（深层包挖掘）技术； 析各类数据，搭建一座IDC客户与用户的桥梁，为IDC客户 (3)实时策略引擎技术； 提供行业分析信息、同行业运营情况、用户行为信息，为 (4)分布式采集和计算技术。 IDC客户营销决策提供有力支撑。 互联网行为分析平台的应用 系统架构 建设公众网站平台，为IDC客户提供客户报告、信息 通过对中国电信IDC网管系统、资源系统、合同管理等 服务和业务营销服务。系统需要与电信运营商IDC机房的 各种系统的闲置数据进行大数据分析，并结合IDC汇聚和出 DPI设备对接，获取访问IDC客户系统的访问日志；与IDC 口DPI的IP流量数据采集，挖掘IDC客户平台的运行状况， 业务网管系统对接，获取网络流量、设备/系统性能和告警 分析访问客户平台的业务用户行