开放x86架构为中石化掘金数据分析提速.PDF

开放x86 架构为中石化掘金数据分析提速 石油是现代工业文明的动力之源。对于中国这样一个高速发展的经济体，每 年消耗的石油超过 5 亿吨。这些石油从哪来？如何炼化成工业所使用的不同标 号的汽油、柴油和煤油？它们又是怎样销售的？在这个复杂的体系中，中国石化 集团在其中的作用不言而喻。 中石化在全国拥有超过3 万个加油站，年营收超过2 万亿人民币，每年向市 场销售上亿吨各类油品，同时每年也会生产上千万吨乙烯及合成树脂等化工原料。 与此同时，中石化还涉及石油勘探、开采等大量其他业务。可以说中石化是一家 名副其实的超级企业。 而对于这样一家上市企业，每月、每季、每年的财务、销售情况都需要进行 详细的统计以便发布财报和审计之用，这家超级企业是如何完成这一看似不可能 的任务的？  中石化：数据分析压力拷问IT 基础架构 对于中石化这样体量的企业来说，想要用人工完成销售额的统计和汇总工作 依然不可能，信息化是唯一的出路。而另一方面，随着公司经营理念的发展，企 业管理层在经营决策时也更加依赖业务数据报表以及相关的预测数据，让任何决 策都能够有理有据，保证国有资产及能够造福人民、保障国计民生又能够在经营 过程中实现保值增值。由此产生的数据分析需求更是对 IT 系统造成了难以想象 的压力。 其实早在2005 年，中石化就开始基于SAP 的Business Warehouse 工具 构建自己的数据仓库系统。而经过几年的运行之后，这一数据仓库已经积累了超 过60TB 的业务数据。这些数据主要服务于油气勘探和开采、炼油业务、石化产 品、成品油分销、财务部、物装部等各个部门，整套系统的总用户数超过19000 个。就如同中石化本身一样，这套SAP 的BW 数据仓库同样也是个超级工程。 中石化积累的这60TB 数据既是生产销售过程的忠实记录，同时也是企业最 宝贵的财富，任何关于企业业务的深层次洞察皆来自于对这些数据的分析。因此， 如何更快获得销售数据统计以及根据所作出的分析报告就成为了中石化积极应 对市场变化，提高企业管理经营效率的关键所在。  新需求带来的IT 转型 2014 年之前，中石化采用的是 2008 年采购的 IBM P595，这几乎是当时 中国能够买到的最高端的小型机系统，其稳定性和单机性能在当时都处于顶尖水 平。 在实际的业务运行过程中，中石化的数据仓库系统需要在白天收集全国各个 部门汇总来的实时供销数据，然后利用晚上的时间对这些数据进行汇总和分析， 以便管理层能够在第二天一早得到第一手报告。 但随着中石化业务线的扩展以及数据总量的增加，IBM 高端小型机系统已经 无法处理海量的数据，其结果就是数据报表的推迟和业务决策的滞后，本应在第 二天一早拿到的报表被拖延到了第二天下午三点。而在月底结算期间，系统压力 更大，进程更加拖延。 于是，中石化开始尝试应用SAP HANA 内存数据库来提升数据分析的效率。 通过将所有数据放在系统内存中进行计算和分析，整个系统的运行效率将获得极 大的提升，彻底消除瓶颈。运行这一系统的最佳平台已不再是过去的小型机，而 是拥有海量内存和先进RAS 特性的新一代x86 系统。 为此，石化盈科（中石化与电讯盈科合资成立的IT 服务企业，主要承接中石 化的信息化工程）、SAP （软件提供商）、华为（设备提供商）和英特尔需要合力 为中石化的数据仓库系统来一次RISC to IA 的大升级。而升级之后，中石化也将 摆脱过去的系统性能瓶颈，并获得新的数据分析能力。这次升级必须成功。  借力数据分析一体机重塑IT 底层架构 在这场不能失败的系统升级中，基于x86 架构的华为 Fusion Cube 大数据 融合一体机大显身手。而在这套融合基础架构中担任核心位置的便是华为 FusionServer RH5885H 服务器。 通过采用新一代英特尔至强E7 处理器，FusionServer RH5885H 服务器不 仅具有更强的计算能力，更获得了海量的内存支持和强大的横向扩展能力。这些 特性使得IT 系统可以通过简单的横向扩展来应对更大的业务需求。 在实际部署过程中，为了完成对中石化庞大数据库的加载，每台 FusionServer RH5885H 服务器配备了2TB 内存，而SAP 也对这一超级系统做 了现场认证工作。这是 SAP HANA 软件首次运行在单节点 2TB 内存的系统之 上。整套系统包含9 个2TB 节点，采用8+1 的冗余配置。除此之外，中石化