基于Hadoop平台Spark快数据算法分析与应用.docVIP

基于Hadoop平台Spark快数据算法分析与应用 　　摘 要： Hadoop大数据平台上可以搭建Yarn，Mahout，Storm，GraphLab等框架，其提供了大数据的各种处理能力。但它们各自按自己的机制工作，整合度极低。虽然在Mahout框架中，对机器学习的算法支持较为完善，但是数据必需是离线的。在大数据时代，要求不仅具有处理能力，还强调了数据的时效性，以前的框架都显得有点力不从心。Spark是Hadoop平台上的新型利器，它的各个部分几乎能替代以前的分散的框架，且采用统一的处理机制，整合度很好，速度比传统处理方式快几十倍甚至几百倍。基于Hadoop平台的Spark快数据推荐算法分析与应用是在Hadoop平台上用Yarn作资源管理，Spark作快数据的处理，这极大地提高了大数据的处理效率。该文以专业推荐系统为应用基础，采用Yarn作资源管理，及Spark ALS算法做推荐，Spark PageRank算法做专业排名，实验结果表明，Spark框架对大数据的处理机制能够满足日益增值的大数据应用对速度的要求。 　　关键词： Hadoop； Spark； 快数据； ALS算法； PageRank算法 　　中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2016）10?0018?03 　　Analysis and application of Spark fast data recommendation algorithm based 　　on Hadoop platform 　　CHEN Hongjun1， WU Xueqin2 　　（1. Chengdu College， University of Electronic Science and Technology of China， Chengdu 610074， China； 　　2. Sichuan TOP IT Vacational Institute， Chengdu 611743， China） 　　Abstract： Analysis and application of Spark fast data recommendation algorithm based on Hadoop platform is to use Yarn as resource management on Hadoop platform， and Spark as fast data processing， which greatly improves the processing efficiency of large data. In this paper， the specialty recommendation system is taken as application foundation， Yarn as resource management， Spark ALS algorithm as the basis of professional recommendation system， and Spark PageRank algorithm as specialist ranking. The experimental results show that， as for the big data processing mechanism ， the Spark framework can meet the speed requirement of increasingly value?added big data application. 　　Keywords： Hadoop； Spark； fast data； ALS algorithm； PageRank algorithm 　　Hadoop平台是开源组织Apache基金会开发的分布式架构，是大数据的基础平台。Hadoop平台上目前可以搭建Yarn，Mahout，Storm，GraphLab和Spark等。Yarn用于资源管理，自动或者手动地为大数据挖掘提供容器资源。在Mahout框架中对机器学习的算法支持较为完善，缺点是数据必须是离线的，不能做到实时性，同时由于其采用MapReduce计算模型，随着数据量的增大，其挖掘时效已经达不到要求。Storm用于实时在线数据的处理。GraphLab主要用于图计算。Spark框架称为快数据，是基于内存的编程模型，它可以把中间的迭代过程不放在磁盘中，直接数据一个不落地在内存中执行，极大地提高了它的执行速度。Spark是大数据挖掘的新型利器。Spark的优点不仅仅体现在快，也体现在功能强大的整合能力，其整合能力体现在它