一个健强的AKKA和Spark支持的大数据结构设计策略.pdf

总第37期)2017年第一期 战■略●■与■■决■■策●啊■ 一 个健强的AKKA和Spark支持的大数据结构设计策略 ◆严 锟 兰 奎 邹学利 摘要 目前的大数据处理方案对模型的训练过程有着非常好的支持，但是对模型的应用方面 的支持却不如前者那样强大。本文介绍了一种结合 Spark与AKKA及Web相关的技术形 成的 一套大数据分析，模型训练，模型应用的一套完整的大数据应用方案。采用Spark大数 据处理技术把海量的数据作为机器学习的经验集E训练模型P。然后使用AKKA、AKKA Stream，、AKKAHTTP等技术构造一套可以与Spark深度结合并且可以动态伸缩的Web 服务，通过HTTP、HTTPS等应用层协议与Web服务交互。可以将用户提交的部分信息应 用到模型P，得出评判的结果，并通过Web服务将结果返回给用户。 关键词：大数据应用架构；Spark；AKKA；AKKAStream；WebServer 一 、 引言 用户都被接人了一个网络中，所以我们希望能够 (一)背景 通过Web技术将通过大数据得到的预测模型以 以Hadoop和Spat-k等技术为代表的大数据 移动互联网那样方便的方式直接开放给普通的 处理技术给海量数据的分析处理提供了兀限方 用户，使得大数据及人一r智能的成果能被普通的 便．不足的是这 方案提供的解决方案往往立足 用户使用，能够给普通用户带来方便与好处。 于数据的分析处理而忽略了用户交互，但是随着 (■)Spark大数据应用部署模式介绍 机器学习等人 I智能算法在大数据分析技术中 Saprk是一种非常流行的大数据处理技术． 的广泛使用，这种单一数据流向的大数据应用架 因为其使用基于内存 RDD模型的计算方式，一 构模 使得通过机器学习得到的模型难以直接 般来说比Hadoop使用的基于磁盘的Mapreduce 跟第i厅用户直接交互 ，在传统的方式中，通过 的并行计算方案来说更加高效，也被越来越多的 机器学习得到模 后．再通过数据分析 r‘程师收 大数据处理厂商所采用。 集需要判断的数据进行数据判断，这就使得这个 Spark应用部署主要分为两类，一类是全集 过程相对比较麻烦，而且第 ■方需要验证数据结 群的方式部署 ：在这种方式中，不仅执行计算任 果的用户也不能立即拿到数据验证的结果，没有 务的Executor运行在集群内部，被Spark框架的 ～ 个很好的实效性 资源管理器调度 ，负责分配这些计算任务的 而淡起用户交互，最合适的 式无疑是 Web Drivel·也运行在集群中；另一种则是客户端模 技术，随着移动互联网的广泛兴起，使得每一个 式 ，这种模式只有负责具体计算任务的Exeeutor 作者简介 ：严锟(1992一)，男，v-9川街仪陇县人 ，四川鑫涞信息工程有限公司大数据架构师，主要研究方 向：大数据架构， Scala生态系统，数据库管理 兰奎(1986-)，男，四川省内江市人 ，四川鑫涞信息工程有限公司高级Scala开发师，主要研究方 向：Java设计和编程，Scala生态系统，数据库管理 邹学利(1961一)，男，美国佐治亚州亚特兰大人 ，博士．四川鑫涞信息工程有 限公司首席科学家，成都影泰科技有 限公司首席技术官 ，主要研 究方向：大数据架构，大数据建模 ，Scala生态系统 ，Bl，数据 挖掘 ．优化算法和统计分析 战“略篙澈