为什么我们选择基于 Flink 搭建实时个性化营销平台？.docxVIP

为什么我们选择基于 Flink 搭建实时共性化营销平台？ Flink 开源项目是近一两年大数据处理领域冉冉升起的一颗新星。虽然是后起之秀，但在国内很多大型互联网企业的工程实践中均有被应用，如阿里、美团、京东等。那么，在玖富的大数据技术体系迭代中，为何会选用 Flink 这套流数据处理引擎呢？ 从技术言语角度：Spark 的技术言语次要是 JAVA 和 Scala，尤其是对 Scala 言语有肯定要求。而 Flink 次要是基于 JAVA，编程言语更成熟，通用度更高，修改代码也更简约。所以从言语层面综合来看，Flink 相对较好。Spark、Storm、Flink 技术选型对比如下： 从时延和吞吐量的角度：Flink 是纯粹的流式设计，流式大数据技术的计算是规律先行，即先定义计算规律，当数据流过时，实时计算并保留计算结果；当需要使用数据时，直接调用计算结果即可，无需再次计算。流式大数据技术可广泛应用于对数据处理时效性要求较高的场景，照实时买卖反欺诈。Flink 的时延和吞吐量方面的功能表现较好，能满足玖富集团对超大规模数据流在线实时计算的要求。相比之下，Spark 次要是小批量处理模式，无法满足反欺诈系统实时处理大规模、多维度、高并发的数据流的要求。Storm 虽然是基于流处理，但与 Flink 的功能数据相比，Flink 吞吐量约为 Storm 的 3~5 倍，Flink 在满吞吐时的延迟约为 Storm 的一半。综合来看，Flink 框架本身功能优于 Storm。 从与现有生态体系结合的角度：Flink 与超大型计算和存储（HBase）的结合比 Spark 和 Storm 要好很多，同时接口也更友好。HBase 是整个系统预查功能的缓存基础，预查功能是降低系统 p99 延迟最重要的技术优化。 总的来说，Flink 是一个设计良好的框架，它不但功能强大，而且功能精彩。此外它还有一些比较好的设计，比如的内存管理和流控。但是，由于 Flink 目前成熟度较低，还存在不少问题，比如 SQL 支持比较初级，无法像 Storm 一样在不停止任务的情况下动态调整资源；不能像 Spark 一样供应很好的 Streaming 和 Static Data 的交互操作等。 2、超大规模在线实时反欺诈系统架构 线上信贷的基本流程是：由用户通过 App 发起需求，App 会要求用户填写与授权相关的信息，次要目的是评估用户的信誉额度。之后用户数据会进入后台数据系统进行反欺诈和信誉的评估，审核通过，用户会收到信息，账户额度开通。基于 Flink 的超大规模在线实时反欺诈系统架构如下： 玖富基于 Flink 的超大规模在线实时反欺诈系统的架构分为两部分：数据部分和决策部分。整个系统的运作相当于一个工作流，用户的数据信息以流的方式由一个节点传到下一个节点，在流转过程中会产生大量的决策信息，依据条件做出筛选和推断，并把推断结果快速推行到下一个节点，从而实时推断用户的数据情况，进而打算能否放款给用户。 数据部分需要最快速度的加工处理，整个数据处理由四部分完成。 第一部分是把数据从前端最快速地传递到后端。基于 Flink 的超大规模在线实时反欺诈系统首先要把数据通路加宽，允许更多信息同时涌入数据处理中。 其次部分是大型的列式存储集群，次要由 HBase 实现。HBase 是运转在 Hadoop 上的 NoSQL 数据库，它是一个分布式和可扩展的大数据仓库，能够利用 HDFS 的分布式处理模式，并从 Hadoop 的 MapReduce 程序模型中获益，最关键的是可以供应高并发读写操作的支持。HBase 是整个架构最基础的保障，当大量数据涌入时能实现快速存储，降低写入和读取数据过程对系统架构的过度依靠。 HBase 里有大量的索引，如一级索引、二级索引等，对 HBase 的读写缓存进行定制化改造，保证预查功能的实现。通过 App 或其他渠道猎取用户的行为数据信息，进而推想用户的意愿，然后系统开头做预查询，把用户的相关信息放到缓存里，这样当用户在前端触发操作时，后端直接从缓存里调用数据开展计算，极大地提升了数据处理速度。在 HBase 缓存里，基天性够实现 99% 的数据信息被命中，这依靠于系统强大的用户感知力量。 第三部分就是计算引擎，次要由 Flink 完成。计算引擎分为两部分，一个是过滤引擎，次要是在大规模、高并发数据流中对用户信息做不同维度的定制化过滤，目的是降低整个数据计算的量级。另一个是函数引擎，通过高度笼统的方法，定制化一些功能格外好的函数，并把这些函数加载到引擎中去，可以避开开发人员自行修改代码。过滤引擎和函数引擎的结合，使整个用户的数据量级大幅降低，再结合一些高效的代码，进一步降低延迟。 Flink 的核心是基于流执行引擎，Flink 供应了诸多更高