大数据分析平台总体架构方案说课材料.pptxVIP

智慧金融：金融集团大数据分析平台总体架构方案议程1大数据分析平台综述2大数据分析平台总体架构3大数据分析平台演进路线4大数据分析平台一期实施重点5附录：数据质量管理平台统一定义BI 应用统一规划分析方法统一划分分析主题统一设计数据模式统一部署技术基础大数据分析平台建设目标通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力多种格式报表BI 分析工具统一制定目标和分析模型自定义报表工具行＋列的简单定义方式关注集团主要经营指标云数据推送平台已实现了主要零售及金融业务系统数据清洗、整合，为未来金融集团数据平台提供了丰富的数据源。集团决策层查看职能部门的业务经营情况业务人员使用BI应用实现业务协作和创新集团职能管控层供应链金融系统外部非结构化数据POP系统其他业务系统采购管理系统各级业务操作层大数据分析平台建设预期收益1.实现数据共享通过数据平台实现数据集中，确保金融集团各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值2.加强业务协作实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础3.促进业务创新金融集团业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造了有利条件4.提升建设效率通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率5.改善数据质量从中长期看，数据仓库对金融集团分散在各个业务系统中的数据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用性议程1大数据分析平台综述2大数据分析平台总体架构3大数据分析平台演进路线4大数据分析平台一期实施重点5附录：数据质量管理平台大数据分析平台总体架构用户访问层IT人员内部用户外部用户数据管控平台流程调度层实时数据查询历史数据查询内部管理分析业务沙盘演练数据增值产品流程调度平台数据标准应用集市数据区沙盘演练数据区实时数据区历史归档数据区增值产品数据区流程调度客户管理财务管理风险管理……数据质量大数据区主题数据区客户汇总账户汇总机构汇总… …处理后大数据待处理大数据监控告警社交媒体用户评价客户主题协议主题产品主题… …元数据移动互联访问日志贴源数据区 零售数据供应链数据…………大数据交换组件数据库数据交换组件数据区数据交换组件数据交换平台数据安全数据交换层数据产生层数据应用层数据计算层数据管控层人人贷系统供应链金融商城零售……系统基金系统企业内外部半结构化、非结构化数据大数据分析平台总体架构——数据产生层 源数据内容内部业务系统产生的结构化数据商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水……金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水……企业内部非结构化数据日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……企业外部数据企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息……源数据增量在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据商城和金融集团业务系统的数据增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量初始数据加载均采用全量模式大数据分析平台总体架构——数据交换层传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能数据交换层设计目标数据服务层保证数据交换过程中不失真保证数据在平台内高速流转保证数据交换过程安全可靠保证数据交换过程中不丢失数据区数据交换组件数据库数据交换组件大数据交换组件NAS 存储ETL程序区Hadoop元数据数据平台导入临时区数据平台导出临时区外部大数据云数据推送平台商城系统金融集团系统存储数据平台各个Hadoop集群的元数据信息，如：HDFS文件系统元数据数据平台ETL加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在NAS集群指定目录，各接口服务器通过文件系统Link建立映射集团数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在NAS临时数据区金融