流处理技术在事中反欺诈领域的应用及实践.docxVIP

流处理技术在事中 反欺诈领域的应用及实践 王新根 博士 杭州邦盛金融信息技术有限公司 1 议程 反欺诈技术现状 事中反欺诈的三大指标及传统流程 OLAP领域的发展现状 流处理技术应用在反欺诈领域的主要难点 邦盛流立方平台如何解决上述问题 邦盛流立方平台在反欺诈及其他众多领域的案例分享 简单的公司及团队介绍 2 反欺诈技术的演进路线 准实时 处理 事后批 量分析  实时处 理 以事中实时的 管控为主 以事后的监察 或跟踪为主， 着重于模型的 发掘与确认  以异步的监 测或追踪 为主  提升客户体验 传统的反欺诈技术体系仍然以数据库作为主要技术手段 3 事中反欺诈的三大技术指标 事中反欺诈的三大指标 超低延时 (99.9%100ms) 超高并发 非线性 (tps10000)  传统事中反欺诈的主要流程 客户在同步等待 交易拦截 数据查询原始流水 数据库查询 实时进行指标运算 行为分析 所有规则比对 规则匹配 ? 综合决定执行策略 风险决策 4 数据分析处理发展（OLAP） Database ACID SQL 小数据量 低延时(几十毫米)  Data Warehouse Acquisition Storage Access 大数据量 超高延时(几天，几十小时)  批处理技术 数据先行 Hadoop MapReduce HDFS Distributed 大数据量 高延时(几小时，几十分钟)  流处理技术 逻辑先行 Streaming Processing Incremental Dynamic Distributed 大数据量 低延时(几十或几毫秒，甚至1ms) 5 流处理技术应用在反欺诈领域的主要问题 指标的存储问题 JVM存储 VS 内存数据库 VS 分布式缓存 合理的存储结构 指标结果需要动起来 存储效率问题 高可用、高可扩展(自平衡) 多副本一致性问题 0 miss如何达成  算法需增量计算 计数、求和、平均、最大、最小等算法 连续统计、递增、递减、连续递增、递减等的支持 波动计算(方差、标准差) 偏度及峰度运算(3阶、4阶中心矩) 排序、去重等问题 静态关联问题  事件序列识别 事件的定义 跨数据源关联 事件序列增量识别 如何跟时序结合 (login[,5s]query [,10s]trans)  其他问题 长周期数据处理能力 大维度数据处理能力 6 极速数据流处理平台 --- 实时 流处理 时效性 毫秒级 高可扩展 单节点 30000 流水/秒  基于时间窗口移动的动态数据快速处理技术(时序处理) 基于事件驱动的模式识别技术(CEP) 支持计数、求和、平均、最大、最小、方差、标准差、K阶中心矩、连续、递增/递减、最大连续递增/递减、唯一性判别、采集、过滤、排序等多种分布式实时计算模型 7 流立方 VS Spark-Streaming 流立方(产品) Spark-Streaming * 时间窗口移动 (流处理框架) * 复杂计算模型 * 完善的生态系统 * 高可用分布式缓存 * 流转式数据处理 * 计算逻辑独立管理， 即刻上线 对比项 Spark 流立方 概览 框架 产品 * 存储 支持 分布式缓存 * 计算逻辑 自行编写 独立管理 运行模式 主次+流转 对等+平行 8 流立方 – 核心功能 流式 处理 复杂 高速 事件 流立方 缓存 复杂 时序 计算 处理 9 案例分享一 +1  项目介绍 信用卡中心 邦盛”流立方”产品替换信用卡中心原有数据库处理模块，为FICO引擎提供实时指标，解决FICO引擎计算性能瓶颈问题。 直销银行 提供咨询、设备指纹、数据服务、功能方案。 10 案例分享二 监控商户 457万家 监控POS 549万台 监控便民终端 214万台 监控日均交易 3000万笔  项目介绍 银联商务作为国内最大的线下第三方支付公司，有着巨大的商户数量和海量的交易数据。 目前银商已将核心交易系统与移动支付系统的全量数据接入邦盛，由邦盛帮助银商完成核心业务的风控，并卓有成效。 性能提升(准实时侦测延时1s)，复杂规则的执行。 11 流处理技术 – 实时报表/仪表盘 反欺诈其他需求 机器学习 实时仪表盘 用户/商户评级  业务系统 流处理引擎 缓存1 缓存2 缓存n 12 这些客户在使用流立方 QA THANKS 14 流立方性能指标 流立方并发指标(TPS) 推送 查询 1200000 1084889 1000000 800000 666280 600000 400000 345493 301249 237590 200000 155616 43789 78781 0 x1 x2 x4 x8  流立方延时指标(毫秒) 推送 查询 2.5 2 1.92 1.61 1.62 1.5