大数据平台方案建议书.docxVIP

资料转换管理系统(Data Management，ETL) V 4.0 PAGE 12 PAGE 1 资料转换管理系统(Data Management，ETL) V 4.0 PAGE 3 大数据平台方案建议书  目 录 TOC \o 1-3 \h \z \u 1 项目概述 6 1.1 建设背景 6 1.1.1 集团已有基础 6 1.1.2 痛点及需提升的能力 6 1.1.3 大数据趋势 7 1.2 建设目标 7 1.2.1 总体目标 7 1.2.2 分阶段建设目标 8 1.3 与相关系统的关系 9 1.3.1 数据分析综合服务平台 9 1.3.2 量收系统 9 1.3.3 金融大数据平台 10 1.3.4 各生产系统 10 1.3.5 CRM 10 1.4 公司介绍和优势特点 10 1.4.1 IDEADATA 10 1.4.2 TRANSWARP 12 1.4.3 我们的优势 13 2 业务需求分析 16 2.1 总体需求 16 2.2 数据管理 17 2.2.1 数据采集 17 2.2.2 数据交换 18 2.2.3 数据存储与管理 18 2.2.4 数据加工清洗 19 2.2.5 数据查询计算 19 2.3 数据管控 20 2.4 数据分析与挖掘 20 2.5 数据展现 21 2.6 量收系统功能迁移 22 3 系统架构设计 23 3.1 总体设计目标 23 3.2 总体设计原则 23 3.3 系统总体架构设计 24 3.3.1 总体技术框架 24 3.3.2 系统总体逻辑结构 28 3.3.3 平台组件关系 30 3.3.4 系统接口设计 35 3.3.5 系统网络结构 39 4 系统功能设计 41 4.1 概述 41 4.2 平台管理功能 41 4.2.1 多应用管理 41 4.2.2 多租户管理 45 4.2.3 统一运维监控 46 4.2.4 作业调度管理 65 4.3 数据管理 67 4.3.1 数据管理框架 67 4.3.2 数据采集 69 4.3.3 数据交换 72 4.3.4 数据存储与管理 73 4.3.5 数据加工清洗 91 4.3.6 数据计算 92 4.3.7 数据查询 107 4.4 数据管控 126 4.4.1 主数据管理 126 4.4.2 元数据管理技术 128 4.4.3 数据质量 131 4.5 数据ETL 138 4.6 数据分析与挖掘 140 4.6.1 数据分析流程 142 4.6.2 R语言开发环境与接口 143 4.6.3 并行化R算法支持 144 4.6.4 可视化R软件包 147 4.6.5 编程语言支持 149 4.6.6 自然语言处理和文本挖掘 149 4.6.7 实时分析 150 4.6.8 分析管理 150 4.6.9 分析支持 154 4.6.10 指标维护 154 4.6.11 分析流程固化 155 4.6.12 分析结果发布 155 4.6.13 环境支持 155 4.7 数据展现 156 4.7.1 交互式报表 158 4.7.2 仪表盘 163 4.7.3 即席查询 164 4.7.4 内存分析 165 4.7.5 移动分析 166 4.7.6 电子地图支持 166 项目概述 建设背景 现状分析 经过十几年的信息化建设，我公司已经积累了覆盖邮务、速递物流、金融三大板块的海量生产和经营数据，这些数据分布在集团各类应用系统和数据库中，支撑着集团业务的发展。 集团初步搭建了由名址系统、量收系统、速递平台系统、数据分析平台组成的初步的数据仓库，为数据分析挖掘工作打下了一定的技术基础。 组建了专业的组织架构促进企业数据管理与应用的规范化与制度化。 集团已成立数据中心，集团数据中心和各省的数据分析团队已经进行了多个专题的数据分析与成果应用的尝试。 痛点及需提升的能力 我公司拥有丰富的客户资源，海量的数据积累。在大数据时代，要充分挖掘数据价值，跟上时代的步伐。 板块间数据存在壁垒，共享不足，无法实现集团企业数据的充分有效利用。 数据存在冗余、分散、安全性差、一致性差等问题，应建立有效的数据管控体系，打破信息孤岛、实现企业信息数据共享、提升数据价值。 非/半结构化数据利用不足