简单得不像技术活 风险检测中时间窗口计算.ppt

我现在的同事，张颖峰 CBF支持删除，SBF在此基础上更进一步，CBF在设定counter大小时候做了取舍，对大部分应用来说，4位的counter就已经够用了。出现次数超过counter大小的信息就被丢弃了，SBF希望把记录的出现的频率信息全部记录下来，就设计了一套索引，去分配每位counter的大小。 简单得不像技术活 --风险检测中时间窗口计算 刷脸 安全圈的新人 业务风控后端 Agenda 风控侧写 时间窗口统计的需求场景和各种实现 点击欺诈和布隆过滤的一种改进 支付欺诈和区间树的应用技巧 区间树在内存使用上的优化 通用场景下灵活性和实时性兼顾的方案 818黄牛抢购的风险特征（值）计算的案例数据 一个通用的内存分布式框架介绍 Profile 窗口数据计算 Case 1 点击欺诈中布隆过滤改良应用 什么是点击欺诈 检测什么 点击者身份 重复点击 布隆过滤怎么用 Daily 有限内存 任意时长（窗口长度） Case 1 点击欺诈中布隆过滤改良应用 Cont. Hash 一次 （GBF） 读写 一次 Case 1 点击欺诈中布隆过滤改良应用 Cont. Timing Bloom Filte(r) logN + C 32位的counter足够记录130年 2 × （logN + 1） 布隆过滤的其他几种改进版本 CBF SBF DCF 是 数据结构 更是算法 Case 2 支付欺诈和区间树的应用技巧 判断支付欺诈的一个有效特征 时间序列上额度变化分析 求导 Case 2 支付欺诈和区间树的应用技巧 Cont. （key，value，Cal Funcs） （用户id交易金额，Sum） 每个叶子节点：最小时间单位（精度） 普通算术函数 sum 比较函数 max 统计函数 count Distinct Case 2 支付欺诈和区间树的应用技巧 Cont. 10年末 单机250G 3台物理服务器 计算延迟10ms 4G的虚机=运维麻烦 Case 3 区间树在内存使用上的优化 内存占用更少 数据结构更简单 计算函数可累积 适用场景受限 时间长度上通过2倍空间，避免移除操作 窗口运算的通用性抽象和流式计算:Libra 事件驱动的设计方法 SEDA (staged event-driven architecture) 消息驱动的架构设计 实时计算平台Libra以及使用情况 818的实际数据 3亿次登陆×6个实时指标/天，4w TPS峰值，计算延迟95%低于10ms，99%低于30ms 百万下单×60+窗口指标/天 支付×20+窗口指标/天 800+计算节点 降维（打击？） 全息数据 == 特征数据 Kernel函数 机器学习？ A Generic Dynamo Framework 统一的具备水平扩展的访问接口 抽象共通的操作接口 提供备份之间的最终一致性实现 自定义的初始化，持久化能力 自动增加新备份的能力？自定义？ 支持的数据结构 Approach A. base on zookeeper Approach B. base on gossip and vector clock 附录 /~mdw/papers/seda-sosp01.pdf http://hal.upmc.fr/docs/00/55/55/88/PDF/techreport.pdf /oldratlee/translations/blob/master/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/README.md /link?url=FolbmG-0zvBmZivAy2XTAwLp15wJZW9RIVzNy4rJdCf4UpDJiXbAeKijNm0eurWQCkeZfqVJe5k5MZNzgxPlbN6PXdQkkw-jFvtm18Y6Kr_ 大家好，我叫季虎，非常荣幸能在这里给大家做这个分享。我分享的题目是“简单的不像技术活”，为什么取这么个标题呢，一是罗永浩罗师傅的确是我非常喜欢的一个演讲者，把他放在这里，就像上战场之前拜一下关公，讨一个彩头；二呢，简单不简单是相对的，我做这个分享的目的是希望把业务风控的这个技术圈子里面的一些有效的作为能够介绍给传统安全领域的朋友。 纪念逝去的google+， 简单来说，风控就是阻止案件的发生。参照公安破案的做法，据我所知，公安内部是分了人员信息，工具信息，犯