电商大数据实践-实现和设计方案(详细版).docxVIP

智慧大数据分析平台总体架构方案 议程 大数据分析平台综述 Q「大数据分析平台总体架构 Q :大数据分析平台演进路线 大数据分析平台一期实施重点 附录：数据质量管理平台 金融集团管理分析类应用建设现状基本分析 基本的现状 存在的问题 关注的内容 ?商城已建立面向整个零售业务的数据 仓库，整合了前台业务运营数据和后 台管理数据，建立了面向零售的管理 分析应用； ?金融集团已开展供应链金融、人人贷 和保理等多种业务，积累了一定■的 业务数据，同时业务人员也从客户管 理、风险评级和经营规模预测等方面 ,提出了大量分析预测需求; 商城数据仓库累积数据没 有充分利用 缺乏面向整个金融集团的 统一、完整的数据视图； 缺乏支撑金融集团日常业 务运转的风险评估体系； 缺乏金融集团客户360度 视图，客户行为分析和预 测无法实现； 缺乏面向金融业务运营管 理的关键绩效指标体系； 数据平台、数据应用、数据管控 数据平台整体架构; 数据平台各层建设的标准; 较成熟的金融业数据模型; 数据质量治理; 元数据管理； 数据标准建设 数据整合； 数据应用建设； 数据平台的软硬环境 基础数据平台和BI应用建设是未来一段时间的重点! 大数据分析平台建设目标 通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行 前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力 多种格式报表统一*分自定义报表工具 行+列的简单定义方式B!分析工具 多种格式报表 统一*分 自定义报表工具 行+列的简单定义方式 B!分析工具 云数据推送平台已參 了主要零售及金融业务 系统数据清洗、龄 为未来金融集团数据平 台提供了丰富的数据源。 大数据分析平台建设预期收益 大数据分析平台建设预期收益 大数据分析平台建设预期收益 大数据分析平台建设预期收益 实现数据共享 加强业务协作 促进业务创新 提升建设效率 改善数据质量 大数据分析平台总体架构 大数据分析平台总体架构 议程 ■「大数据分析平台综述 大数据分析平台总体架构 Q :大数据分析平台演进路线 大数据分析平台一期实施重点 附录：数据质量管理平台 IT人员 内部用户 外部用户 平台 数; 流程 调度 平台 議 内部管理分析 业务沙盘演练 讒 - 应用集市数据区 增值产品解区 数据 调度 大数据区 访问日志 客户管理 财务管理 风险管理 协议主题 主题数据区 贴源数据区 供应链数据 零嘗 大敬据交换组件 数据库数据交换组件 数据区数据交换组件 散据交换平台 企业内外部半结构化、非结构化数据 系统 商城零售 供应链金融 人人贷系统 基金系统 用户访问层 数据应用层 数据计算层 数据交换层 数据产生层 大数据分析平台总体架构——数据产生层 源数据内容］ ?内部业务系统产生的结构化数据 ?商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、釆购信息、商品信息、销售流水… ?金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水 ?企业内部非结构化数据 ?日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评…… ?企业外部数据 ?:?企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息…… 源数据增量 ?在本次项目实施中将采用以増量为主、全量为辅结合的方式获取源数据 ?商城和金融集团业务系统的数据 ?増量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现 ?对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为増量 ?初始数据加戮均采用全量模式 大数据分析平台总体架构 数据交换层 大数据分析平台总体架构 数据交换层 大数据分析平台总体架构 数据交换层 大数据分析平台总体架构 数据交换层 传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能 数据交换层设计目标 数据服务层 !保证数据在平台内高速流转 I 保证数据交换过程中不失真 ■ I :保证数据交换过程中不丢失 I 换组件 换组件 件 Al NAS 存储 | Hadoop 元数据 数据平台导入 临时区 数据平台导出 临时区 ETL程 序区 据区数据交 I?库数据交 大数据交换组 云数据推送平台 :保证数据交换过程安全可靠 I 商城系统 金融集团系统 外部大数据 大数据分析平台总体架构——数据交换层 大数据分析平台总体架构——数据交换层N 大数据分析平台总体架构——数据交换层 大数据分析平台总体架构——数据交