携程是如何把大数据用于实时风控的.docxVIP

携程是如何把大数据用于实时风控的 次要分三大模块：风控引擎、数据服务、数据运算、协助系统。 风控引擎：次要处理风控恳求，有预处理、规章引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块供应的。数据服务：次要有实时流量统计、风险画像、行为设备数据、外部数据访问代理，RiskGraph。数据访问层所供应的数据都是由数据计算层供应数据运算：次要包括风险画像运算、RiskSession、设备指纹、以及实时流量、非实时运算。 数据运算所需的数据来源次要是：风控 Event 数据（订单数据、领取数据），各个系统采集来的 UBT、设备指纹、日志数据等等。 除了这些，风控平台还有格外完善的监控预警系统，人工审核平台以及 报表系统。 二、Aegis 系统架构 三、规章引擎 规章引擎包含 3 大功能，首先是适配层。 由于携程的业务品种格外多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都依据风控内部标准化配置进行转换，以适合风控系统使用。 在完成数据适配后。风控系统要进行数据的合并。 举个例子，当有一笔领取风控校验，领取 BU 只抛过来领取信息（领取金额、领取方式、订单号等）。但是不包含订单信息，这个时候就必需依据领取信息快速的查找到订单信息，并把这两个数据进行合并，以便规章、模型使用。大家晓得，用户从生成订单到发起领取，其时间间隔从秒到天都有可能，当间隔时间短的时候，就会发生要合并的数据还没有处理完，所以订单数据从处理到落地要格外快。其次部就是要快速查找到订单数据，我们为订单信息依据生成 RiskGraph，可以快速精确定位到所需要的订单明细数据。 预处理在完成数据合并后，就开头预备规章、模型所需要的变量、tag 数据，在预备数据时，预处理模块会依靠后面我们要讲解的数据服务层。当然，为了提高功能，我们为变量、tag 的数据合理支配，优先猎取关键规章、模型所需要的变量、tag 的数据。 大家晓得，欺诈分子的特点就是一波一波的，风控系统需要能够准时响应，当发觉欺诈行为后，能准时上规章防止后续类似的欺诈行为。所以，制定规章需要快速、精确?????，既然这样，那么就需要我们的规章能够快速上线，而且规章人员本人就可以制定规章并上线。还有就是规章与执行规章的引擎比较做到有效隔离，不能由于规章的不合理，影响到整个引擎。那么规章引擎就必需符合这些条件。 我们最终选择了开源 Drools，第一它是开源，其次它可以使用 Java 言语，入门便利，第三功能够用。 这样携程风控引擎 ，实现了 规章上线的高效携程风控实时引擎 ?通过使用 ?规章引擎 Drools，使其具有格外高的机警性、可配置性，并且由于是 java 语法的，规章人员本人就可以制定规章并快速上线。 由于每个风控 Event 恳求，都需要执行数百个规章，以及模型，这时，风控引擎引入了规章执行路径优化方法。建立起并行 + 串行，依靠关系 + 非依靠关系的规章执行优化方法，然后再引入短路机制，使上千个规章的运转时间把握在 100ms。 规章的机警性情外强，制定、上线格外快，但是单个规章的掩盖率比较低，假如要添加掩盖率就需要格外多的规章来进行掩盖，这个时候规章的维护成本就会很高，那么这个时候就需要使用模型了，模型的特点就是掩盖率掩盖率可以做到比较高，其模型规律可以格外简单，但是其需要对其进行线下训练，所以携程风控系统利用了规章、模型的各自特点进行互补。 在目前的风控系统中次要使用了：Logistic Regression、Random Forest。两个算法使用下来，目前情况为：LR 训练变量区分度足够好的情况下，加以特征工程效果比较好。RF 当变量线性区分力量较弱的时候，效率比较高。所以使用 RF 的比例比较多。 四、数据服务层 数据服务层，次要功能就是供应数据服务，我们晓得在风控引擎预处理需要猎取到格外多的变量和 tag，这些变量和 tag 的数据都是由数据访问层来供应的。该服务层的最重要的目的就是响应快。所以在数据服务层次要使用 Redis 作为数据缓存区，重要、高频数据直接使用 Redis 作为长久层来使用。 数据服务层的核心思想就是充分利用内存（本地、Redis）1、本地内存（大量固定数据，如 ip 所在地、城市信息等）2、充分利用 Redis 高功能缓存 由于实时数据流量服务、风险画像数据服务的数据是直接存储在 Redis 中，其功能能够满足规章引擎的要求，我们这里重点引见一下数据访问代理服务。 数据访问代理服务，其最重要的思想就是该数据被规章调用前先调用第三方的服务，把数据保存到 Redis 中，这样当规章恳求来恳求的时候，就能够直接从 Redis 中读取，既然做到了预加载，那么其数据的新颖度及