电信业务数据仓库前置方案.docVIP

电信业务数据仓库 前置系统项目方案 目录 1.项目背景 2 1.1项目建设的可行性： 2 2.项目需求： 3 2.1.数据来源： 3 2.2.数据量： 3 2.3.本期重点用户： 3 3.Greenplum解决方案： 3 3.1.总体方案概述： 3 3.1.1.项目投入可控： 4 3.1.2.性能满足要求及后续扩展： 4 3.1.3.功能满足要求： 4 3.1.4.与现有技术并存： 5 3.1.5.工作量可控： 5 3.2.系统软硬件平台架构： 5 3.3软件选型： 6 3.3.1.选型标准： 6 3.3.2.Greenplum软件： 6 3.4.Greenplum技术架构： 7 3.5.Greenplum性能说明： 12 3.6.Greenplum管理维护： 15 3.7.Greenplum案例： 17 3.7.1.华泰保险： 17 3.7.2.中信银行： 18 3.7.3.eBay： 19 3.7.4.NYSE： 20 4.项目实施方案： 21 4.1.项目组组成： 21 4.2.项目建设原则： 21 4.3.项目实施内容： 21 5.数据仓库前置系统后期展望： 22 5.1.项目预期效果： 22 5.2.数据集市项目后期展望： 22 1.项目背景 移动通信行业竞争日趋激烈的今天，如何通过高效费比EDI，实现精细化运营和精细化营销是通信运营商提升核心竞争力的关键所在。因此，总部领导希望在现有成熟可靠的技术条件下，通过可控的资金投入，逐步实现全网经分这一宏伟目标。以现有网络技术条件，把各省公司经营的明细数据直接上传到总部实现难度较大，且投入巨大。而如果以现有省经分系统为基础，上传数据，又面临数据加工过多，可能无法反应运营的实际情况，容易导致决策层产生错误判断等问题。所以，目前可行的方式是实现省级数据仓库前置系统，实现省级数据仓库前置系统是实现全网经分这一宏伟目标的关键基础。 1.1项目建设的可行性： 技术条件成熟： 以现有网络技术条件，可以满足及时把各省公司经营的明细数据进行初步汇总后直接上传到总部，并且实现分析数据源单一化的目标。 投入费用可控： 通过多方比较，以及考察了大量的实际案例。目前国内主流的几种BI数据库方案：Greenplum、Teradata、DB2、Oracle等，架构最先进，性价比和扩展性最好的是Greeplum方案，其硬件采购成本非常低而且支持线性扩展和硬件利旧。相同规模的数据量下，Greenplum的项目投入是Teradata的20%，DB2的30%，Oracle的35%。所以从投资成本来看，采用Greenplum方案价格可控，风险可控，其投资回报率（ROI）是最高的。 选型测试充分： 为了保证充分了解Greenplum的性能和功能，除了考察行业内外相关的案例和资料外，Greenplum为现场模拟测试做好充分准备，在北方6省某省公司进行试点。 2.项目需求： 省级数据仓库前置系统要求快速导入各业务系统数据后，进行轻度汇总后，提供给总部经分系统和省级经分系统。作为未来总部经分和省级经分系统的最主要数据源之一，它可以保证分析口径单一化，最大程度减少报表不一致问题。 2.1.数据来源： 初步规划，数据来源主要是省级BSS系统，未来应该包括各省业务子系统。 2.2.数据量： 数据量测算，经压缩后，存储空间约为3TB 2.3.本期重点用户： 总部经分用户： 北方六省经分用户： 数据库运维部门: 3.Greenplum解决方案： 3.1.总体方案概述： 省级BSS系统通过文件接口，周期性（初步定15分钟为一个周期）提供给省级数据仓库前置系统，省级数据仓库前置系统对这些文件进行快速导入，并迅速进行汇总，汇总结果再以平面文件方式快速导出，提供给总部经分系统和省级经分系统。 该项目的范围如蓝色部分所示： 3.1.1.项目投入可控： Greenplum数据集市系统不绑定在特定的硬件系统上，硬件定位于主流厂商的服务器；总的原则是数据集市投入成本是可控的、架构稳定、扩充灵活；系统的硬件扩容应为线性扩容，增加一倍的硬件，就能提升接近一倍的性能；系统的软件扩费要低于线性比例费用；（如从3T的许可升到10T，应是小于原来7T的费用） 3.1.2.性能满足要求及后续扩展： Greenplum采用主流的MPP架构，在项目建设中将采用2台master服务器加上4台segment服务器，共6台服务器就能完全满足要求，具有良好的线性扩展能力，可保证今后随着数据量和应用的进一步迅速增长。 3.1.3.功能满足要求： Greenplum是一个成熟的数据库产品，全球有众多的成功案例，由于架构先进，采用更为简单、实用的管理功能，即可满足DBA和业务部门的需求。 3.1.4.与现有技术并存： Greenp