华为金融技术峰会-工商银行大数据体系演进历程及规划-工行 袁一.docxVIP

工商银行大数据体系演进历程及规划 袁一 中国工商银行大数据平台产品经理 目 录 1工行大数据平台的建设成果及典型案例 1 工行大数据平台的建设成果及典型案例 2 工行大数据平台总体设计思路及实践经验 3 探讨金融行业大数据技术的发展趋势 工商银行大数据体系经历了近20年 工商银行大数据体系经历了近20年的迭代优化，从单机、一体机架构的批量分析场景开始，经历了起步、发展转型、提升等多个阶段，通过典型场景不断地打磨，逐步演进到包含多样化大数据服务和AI服务的大数据平台。 数据辅助决策 数据+智能驱动决策 数据集市 数据仓库 大数据服务云 起步 （2002-2008年） 单机架构 报表、专题集市分析 批量分析为主  发展 （2008-2015年） 一体机架构 全局性经营分析（绩效考核、 客户贡献） 批量分析+灵活探索 Teradata  转型 （2015-2018年） 分布式架构、国产化 智能决策、嵌入流程 批量分析+实时/准实时分析+ 灵活探索+数据挖掘 提升 （2018年起） 智能驱动业务流程变革、产品 创新 批量分析+实时/准实时分析+灵 活探索+人工智能服务 ORACLE SAS Exadata一体机 FusionInsight MRS DWS FusionInsight MRS DWS 机器学习 截止到2021年5月，生产上部署设备规模超过4000台，共支撑200+总行应用及XX+分行及子公司的平台化开发，日均承载的批量计算作业数超XX万，对外提供联机服务交易量日均超X亿笔，支持全行数据分析挖掘请求日均超X万次。 截止到2021年5月，生产上部署设备规模超过4000台，共支撑200+总行应用及XX+分行及子公司的平台化开发， 日均承载的批量计算作业数超XX万，对外提供联机服务交易量日均超X亿笔，支持全行数据分析挖掘请求日均超X万次。 集群建设方面 跨集群联邦集成，多套集群一云统管 1 3同业最大单集群，FusionInsight MRS 和DWS近2000 节点（满足无感知滚动 1 3 集群总规模大，总计超4000节点。 数据总量大，数据存储占有量约XXPB 生态建设方面 2 4 赋能总分行：200+总行应用，XX+分行 及子公司上云 服务对象：数据分析师，总行及各分行金融科技部、管理部，集团一二级分行及子公司，全行业务部 行外生态：融安e信，反洗钱智能服务输出 服务能力方面 实时、秒、分钟、小时的全场景 批量计算：日均批量作业数XX万+。损益预查询单次15分钟以内完成，灵活查询单笔查询性能提升X倍以上 结构化联机查询和非结构化对象存储方 面，服务性能超XX万次/s 流式计算：性能超XX万次/s，引领同业 首创了实时反欺诈新模式 运营管控方面 全自助可视化开发及运维工作站，实现 技术支撑能力全栈覆盖 为提升实时反欺诈能力，降低金融交易风险，工行反欺诈系统全面利用了大数据平台上流计算服务 为提升实时反欺诈能力，降低金融交易风险，工行反欺诈系统全面利用了大数据平台上流计算服务的能力，实现了实时数据处理和智能分析，并支持将加工后的结果实时返回响应，平均响应时间为XX毫秒，实现了事中风险拦截。自投产应用以来，持续守护客户利益，已成功避免损失达X亿元。 规则引擎  模型规则 风控人员 客户画像全数据供给能力事中监控准实时处理能力 服务支撑能 客户画像 全数据供给能力 事中监控 准实时处理能力 服务支撑能力 POS 手机银行 网上银行 … 位置信息中国移动中国海关税务机关 位置信息 中国移动 中国海关税务机关 … 规则模型名单检测 规则模型 名单检测 名单信息设备信息 名单信息 设备信息 拦截 验证卡密 扫码验证 ... 通过 放行  高风险 低风险 XX毫秒计 交易金额接近限额？算 交易金额接近限额？  策略判断 神经网络 策略判断 神经网络 非客户常用设备？与客户当前所在位置不同？知识数据 非客户常用设备？ 与客户当前所在位置不同？ 全数据供给能力 可疑IP 设备指纹  当前位置 交易金额 登陆频率 ... 损益预查询功能原先基于主机批量进行开发，主机加工的结果再通过文件传给财务管理（FMS）应用进行特色加工和展现。而在架构改造之后，工行实现了将主机数据准实时地（每30分钟1轮）向大数据平台复制的能力，使得损益预查询这类对主机MIPS消耗很大的批量加工逻辑可迁移到大数据平台侧执行，充分利用大数据平台的横向扩容能力， 使原先每天10轮查询提升到30轮，将每轮平均30分钟提升到15分钟，大幅提升处理时效，同时减少了主机资源开销。文件 损益预查询功能原先基于主机批量进行开发，主机加工的结果再通过文件传给财务管理（FMS）应用进行特色加工和展现。而在架构改造之后，工行实现了将主机数据准实