金融大数据解决方案课件.pptVIP

Content 1 大数据发展趋势 大数据平台关键技术 大数据平台行业实践 大数据平台案列详述 2 3 4 Content 4 大数据平台案列详述 TD 数仓卸载 HDS 运维日志实时分析 影像存储 智能运维业务 现有数据仓库应用负载卸载 -- 现状和挑战 下游应用 CRM 信用评级 绩效考核 精准营销 管理报表 现状 ? 一般采用贴源层 + 基础层 + 应用层三层数据 数据仓库 应用层 一体机 基础层 贴源层 架构 ? 数据贴源层存放贴源数据 ? 数据贴源层数据除了用来加工为基础层数据 外 ，一般很少被下游应用直接用到，可视为冷数 据 ? 数据贴源层占据 EDW 宝贵存储资源 ? 贴源跑批占据大量 EDW 系统资源 挑战 ETL 平台 FTP 卸载加载 作业管理 数据转 数 换 据转 换 ? 伴随业务的增长，数据增长快，扩容压力大 ? 通常采用国外厂商一体机，存储成本高，扩 数据源 核心 信贷 中间业务 信用卡 网银 成本大 ? 跑批占用数据仓库时间窗口越来越长，可使 用 时间窗口越来越少，给数据仓库的使用带来巨 大 压力 容 现有数据仓库应用负载卸载 —联合创新方案 卸载平台要求 下游应用 CRM 信用评级 绩效考核 精准营销 管理报表 ? 卸载平台能够满足一定的处理时间窗口要求 ? 卸载平台具有较低的每 TB 数据成本 ? 卸载平台具备非常好的水平扩展能力 ? 卸载平台支持通用 X86 服务器 ? 卸载平台能够提供较好的企业级特性（可靠 性 数据仓库 应用层 基础层 贴源层 — 体 机 FTP 卸载平台 基础层 、易管理性、易用性），满足一定的性能 SLA X86 服务器 联合创新方案 ? 与金融机构一起联合创新，将数据仓库系统 中 贴源层 ETL ETL 的贴源批处理过程迁移至基于通用 X86 服务器 的 使用大数据技术的 Hadoop 或 MPPDB 平台 注：方案过程见动画 客户价值 数据源 核心 信贷 中间业务 信用卡 网银 ? ? ? ? 开放，不被单一供应商锁定； 提高数仓体系拓展能力、降低拓展成本 降低数据存储成本 减少数仓跑批时间窗口，提高数仓使用效率 Content 4 大数据平台案列详述 TD 数仓卸载 HDS 运维日志实时分析 影像存储 智能运维业务 历史数据应用四种模式 应用模式 数据归档 用户群体 行内用户 应用场景 组件内生产数据清理后，在历史数据区进行归档保存 历史数据在线快速查询；查询条件比较精确；响应时间比较 紧迫； 在线查询 在线同步（访问数据库） （响应时间： =60 （秒） ) 在线异步（访问数据库） （响应时间： 60 （秒） 在线异步（访问文件） （响应时间： 300 （秒） 访问频率： =50 次 / 天） 行内用 户行外 用户 查询条件比较精确；响应时间不是非常紧迫；访问频率比较 高； 查询条件比较宽泛；响应时间不是非常紧迫；访问频率比较 低 月末 / 季末的银监会、 外管局、审计署的外部监管数据需求； 数据需求比较确定、供数操作频率比较固定、供数格式比较 固定 数据需求不确定、供数操作频率不固定、数据结果集不确定。 批量供数 零星供数 外部监管 （部分包 括行内用户） 行内用户 HDS 区整体视图 数据源 源数据区 主档全量 主档增量 明 细 增量 主档全量 HDS 区 归 档集群 接入数据区 主档增量 明 细 增量 组 合 计 算区 批量供 应 数据区 多表关 联 Hbase 装 载 表截面文件 加工数据文件 归 档数据区 (Hive) x 系 统 .x 表 归 档数据 x 系 统 .x 表 归 档数据 应 用加工 计 算区 (Hive) HQL 数据加工 MR 数据加工 归档 数据源 源数据区 主档全量 主档增量 明 细 增量 主档全量 HDS 区 归 档集群 接入数据区 主档增量 明 细 增量 应 用 计 算区 批量供 应 数据区