大数据分析平台总体架构方案.pptVIP

基础计算平台 — 汇总数据区 包含内容 主要用途 针对客户管理、风险评级和业务量统计设计明细数据进行预汇总、预连接和预加工后的结果数据。 对明细数据进行预汇总、预连接和预加工，为应用数据集市准备数据。 设计原则 数据库设计原则 汇总数据区对应独立的Hive数据库 不对外提供访问，ETL用户对数据库有增、删、查、改权限 模型设计原则 汇总层采用了逆范式宽表设计，某种程度上采用维度建模的方法 模型设计首先需要根据业务和应用的需要尽量包含更多的属性和指标，同时兼顾空间 汇总层需要针对维度数据执行标准化处理 汇总层模型增加数据日期记录历史，建议根据数据日期建立分区 历史保留原则 不同实体采取不同的历史保留策略 建议以支持应用为输入，避免永久保留 过期数据归档到历史归档区，需要时回迁 第五十六页，共八十三页。 基础计算平台 —平台部署架构 基础计算平台由73台X86服务器构成，3台服务器作为Name Node和JobTracker Node，70台服务器作为Data Node和TaskTracker Node …… Data Node TaskTracker Node 服务器1 Data Node TaskTracker Node 服务器70 Name JobTracker Node (Secondary ) Name Node JobTracker Node 内部互联 70台服务器是HDFS数据节点，临时数据区和贴源整合区作为独立的数据库部署在此服务器上，并按照3份冗余存储 NN负责HDFS元数据管理，元数据信息存储在NAS集群指定目录 通过硬件冗余、RAID0+1、Slave NN等技术实现高可用性 70台服务器是MR计算节点，Hive提交的SQL语句，转化成MR任务，由JobTracker分配到每台服务器上执行 Secondary NN负责HDFS元数据备份管理， Secondary JobTracker 负责MR计算集群JobTracker高可用性 JobTracker Node负责MR任务分配 通过心跳信号检测TaskTracker活动状态，排除失效节点 第五十七页，共八十三页。 基础计算平台 —平台网络拓扑 Node Node Node Node Node 20 Nodes RACK 1 …… Node Node Node Node Node 20 Nodes RACK 2 …… Node Node Node Node Node 20 Nodes RACK 3 …… Node Node Node Node Node 20 Nodes RACK 3 …… 第五十八页，共八十三页。 管理分析平台 — 平台逻辑架构 客户信息管理，采用J2EE框架自主开发，数据集市构建于分析型数据库集群 运营绩效管理，采用MicroStrategy开发，数据集市构建于分析型数据库集群 零售业务灵活分析，采用MicroStrategy开发，数据集市构建于内存数据库集群HANA 第五十九页，共八十三页。 大数据分析平台总体架构——平台发展不同阶段对应应用 工作负载复杂度 大数据平台发展阶段划分 操作为主阶段 什么正在发生？ 动态数据仓库阶段 让正确的事情发生！ 分析为主阶段 为什么会发生 报表为主阶段 发生了什么 预测为主阶段 将会发生什么？ 批量 随机查询 数据分析 持续更新加载/短查询 基于事件的动态触发 数据量增长 用户数增长 查询复杂度增长 ETL处理复杂度增长 管理分析类应用 历史查询类应用 实时分析类应用 沙盘演练类应用 数据增值类产品 第二十四页，共八十三页。 大数据分析平台总体架构——管理分析类应用 总账分析 资产负债表分析 损益表分析 现金流量表分析 财务指标分析 盈利分析 机构贡献度 产品贡献度 客户细分贡献度 渠道绩效 资产负债分析 主要指标报告，如： 净利息收入、净收入、 净现值、市场价值等 头寸报告 现金流报告 风险价值（VaR）计算 财务预算与计划 财务预算 财务计划执行监控 执行过程分析 年末财务计划执行分析 预测与场景分析 业务规模预测 收益预测 …… 领导管理驾驶舱 机构绩效考核 客户经理考核 客户经理工作量评估 客户经理服务客户收益评估 产品绩效考核 业务量考核 供应链金融业务 人人贷业务 保理业务 基金业务 其它中间业务 …… 渠道成本与收益 …… 风险监控报表/信息披露 流动性报表 利率敏感性报表 资本充足率报表 …… 市场风险 市场风险暴露值 流动性管理、利率管理 信用风险 信用风险暴露值计算 信用风险控制 （贷前控制、贷中监控、贷后分析） 操作风险 异常交易预警 后督差错检查 …… 防欺诈/反洗钱 定义欺诈交易模型 可能性欺诈交易预警 欺诈交易分布分析 全面风险管理 …… 目前监管机构没有