大数据平台方案建议书.docx

大数据平台方案建议书目录1项目概述61.1建设背景61.1.1集团已有基础61.1.2痛点及需提升的能力61.1.3大数据趋势71.2建设目标71.2.1总体目标71.2.2分阶段建设目标81.3与相关系统的关系91.3.1数据分析综合服务平台91.3.2量收系统91.3.3金融大数据平台101.3.4各生产系统101.3.5CRM101.4公司介绍和优势特点101.4.1IDEADATA101.4.2TRANSWARP121.4.3我们的优势132业务需求分析162.1总体需求162.2数据管理172.2.1数据采集172.2.2数据交换182.2.3数据存储与管理182.2.4数据加工清洗192.2.5数据查询计算192.3数据管控202.4数据分析与挖掘202.5数据展现212.6量收系统功能迁移223系统架构设计233.1总体设计目标233.2总体设计原则233.3系统总体架构设计243.3.1总体技术框架243.3.2系统总体逻辑结构283.3.3平台组件关系303.3.4系统接口设计353.3.5系统网络结构394系统功能设计414.1概述414.2平台管理功能414.2.1多应用管理414.2.2多租户管理454.2.3统一运维监控464.2.4作业调度管理654.3数据管理674.3.1数据管理框架674.3.2数据采集694.3.3数据交换724.3.4数据存储与管理734.3.5数据加工清洗914.3.6数据计算924.3.7数据查询1074.4数据管控1264.4.1主数据管理1264.4.2元数据管理技术1284.4.3数据质量1314.5数据ETL1384.6数据分析与挖掘1404.6.1数据分析流程1424.6.2R语言开发环境与接口1434.6.3并行化R算法支持1444.6.4可视化R软件包1474.6.5编程语言支持1494.6.6自然语言处理和文本挖掘1494.6.7实时分析1504.6.8分析管理1504.6.9分析支持1544.6.10指标维护1544.6.11分析流程固化1554.6.12分析结果发布1554.6.13环境支持1554.7数据展现1564.7.1交互式报表1584.7.2仪表盘1634.7.3即席查询1644.7.4内存分析1654.7.5移动分析1664.7.6电子地图支持166项目概述建设背景现状分析经过十几年的信息化建设，我公司已经积累了覆盖邮务、速递物流、金融三大板块的海量生产和经营数据，这些数据分布在集团各类应用系统和数据库中，支撑着集团业务的发展。集团初步搭建了由名址系统、量收系统、速递平台系统、数据分析平台组成的初步的数据仓库，为数据分析挖掘工作打下了一定的技术基础。组建了专业的组织架构促进企业数据管理与应用的规范化与制度化。集团已成立数据中心，集团数据中心和各省的数据分析团队已经进行了多个专题的数据分析与成果应用的尝试。痛点及需提升的能力我公司拥有丰富的客户资源，海量的数据积累。在大数据时代，要充分挖掘数据价值，跟上时代的步伐。板块间数据存在壁垒，共享不足，无法实现集团企业数据的充分有效利用。数据存在冗余、分散、安全性差、一致性差等问题，应建立有效的数据管控体系，打破信息孤岛、实现企业信息数据共享、提升数据价值。非/半结构化数据利用不足，需利用大数据技术加强应用。大数据趋势随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。掌握大数据资产，进行智能化决策，已成为企业胜出的关键。越来越多的企业开始重视大数据战略布局，重新定义自己的核心竞争力，从数据中揭示规律，了解过去、知悉现在、洞察未来，数据驱动企业运行与决策的科学性，构建智慧企业，打造核心竞争力。数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。如何应对大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。建设目标总体目标根据集团信息化规划，遵循“互联网+”的理念，建设我公司大数据平台，实现集团数据资源的集中及整合，构建我公司统一的数据模型，提高企业数据的处理效率与共享程度。实现对集团企业内部数据和外部数据的分析挖掘，对内对外提供数据服务。为全网提供决策支持、产品创新、交叉营销、服务支撑、风险管控以及流程优化等支撑服务。集团大数据平台将在Hadoop和云计算等技术的基础上，对现有量收系统、数据分析综合服务平台的历史数据、数据模型、报表应用等进行移植，全面整合集团业务数据。数据来源涵盖集团所有的生产和管理系统，并可接入同业及相关市场甚至互联网信息，建立从业务层到管理层到决策层的智能分析体系，模拟量化风险和收益，实现对集团各种业务数据进行分类、管理、统计和分析等功能，给各级管理人员提供各类