银行历史数据管理的方案精编.pptVIP

甘肃银行 甘肃银行历史数据及应用管理 方案介绍 甘肃银行 2016年7月 目录 甘银行 历史数据应用与管理面临的问题与挑战 历史数据平台与ODS功能定位 3我行历史数据应用与管理方案与架构 银行对历史数据管理的需求9甘银行 业务需求 IT需求 法规需求 经营报表 数据查询 审计 ·历史查询 数据备份 合规检查 数据归档 ·监管报送 客户历史账单查 询 ·数据仓库系统 各部门对数据的问题与挑战③甘肃银行 来自业务需求的挑战 部门需要面临的问题 如何保证完整的保留信息 如何优化存储控制成本 怎样有效灵活的统计, 怎样保证可靠性和性能 方便快速的査询 怎样归档管理留存信息, 防止信息泄露与审查方 保证无篡改,无丢失,满足 未来需求的格式 怎样提高响应时间或者确保 良好的响应时间 合规审查 保留审计 满足银行各部门对信息风险益管的高弹性、健壮性、高性能需求? T部门对历史数据面临的与挑战③甘肃银行 趋势 挑战 信息数据的海量增长 厂T预算的紧缩 数据存的需求大于T预算 不断增长的数据使用需求 信息无处不在 数据应用频繁 内部数据丢失问题日益严重 数据要求严榕、 严格的数据管理 数据存储时间长 安全的数据完整性和可用性 信息的审计和法规遵从 信息难以审计 信息统一法规遵从的挑线 目录 甘银行 ①历史数据应用与管理面临的问题与挑战 2历史数据平台与ODS功能定位 我行历史数据应用与管理方案与架构 分析系统业务系统区别 甘银行 业务系统 分析系统 交易 业务需求 分析 简单 查询 复杂 当前 时间限制 历史 业务问题 未知 静态 业务环境 动态 历史数据平台ODS功能定位$甘银行 历史数据平台系统 ODs系统 系统定位1用于交易明细查询非结构化数据存1业务指标,报表展现. 储査询等 2数据交换 2分流交易系统明细数据查询压力 1柜面(柜员) 1业务管理层(报表平台) 2客服中心(客服 2企业管理层(高管驾驶仓) 面向用户3网上银行(客户) 3下游数据消费系统(数据交 4手机银行等渠道(客户 换平台) 响应能力1高并发,高可用 1批量,独占资源 保存期限长期存在,3年以上 1接口文件保存13个月 2加工汇总后数据长期保存 优点 1保留数据的原样性 1突出数据的统一性 2满足了数据的管理要求 2满足了数据的应用要求 OLTPODS数据结构对比甘肃银行 口本质上,采用ODS实现查询和报表是一种空间换时间和性能的方式 口ODs采用类似OLTP的数据库结构,但是需要进行适度的非范式处理; 口ODS最好与OLTP分开存储,使用不同的 DB Instance,使用不同的IO带 宽,安装在单独的服务器上 口使用ETL工具进行数据迁移; OLTP DB 使用数据库复制 或ETL工具进行 数据迁移 OLTPOLAP系统对比s甘肃银行 比较项目 OLAP(联机分析处理) oLTP(联机事务处理) 建设目的 业务操作,事务处理 事务处理,短时分析 决策支持,分析功能 服务对象 产层 业务管理层 企业管理层 存储周期 长期 处理频率 准实时(T+1) 非实时 数据容量 小 非常大 功能结构 分散 相对集中 集中 数据类型 明细数据 明细数据 明细数据,汇总数据 面向用户操作人员,低层管理人员业务管理人员决策人员,高级管理人员 访问方式 实时访问(增,删,改,查)淮实时(增,删,改,查) 非实时(主要是读操作 数据处理 100GB-TB 0OGB-TB 数据简单的事务(处理的数据量小)复杂的查询(数据量大)复杂的查询(数据量大) 个是OLTP型的,保存处理在线交易数据 个是ODS型的,保存/处理与大规模数据统计查询作业相关的数据; 个是DW型的,保存长期的历史数据,用于决策支持/数据挖掘等用途。