2014应用优化和实践经验.docxVIP

黄洁：Intel Spark应用优化和实践经验发表于2015-05-29 00:21 作者黄洁大数据SparkIntel黄洁摘要：黄洁就Spark的内存管理、IO提升和计算优化3个方面进行了详细讲解。黄洁表示，对比MapReduce，Spark擅长于复杂的机器学和图的计算、流处理等多种业务场景。【编者按】干货满满的2015 OpenStack技术大会、2015 Spark技术峰会、2015 Container技术峰会以实力赢得所有观众的认可。在Spark峰会上，英特尔大数据技术中心研发经理黄洁就Spark的内存管理、IO提升和计算优化3个方面进行了详细讲解，以下为演讲概述。下为演讲概述我来自Intel大数据技术中心，整个技术中心在中国、美国、印度都有相应的开发人员，团队致力于大数据顶尖项目的研究，主要包括Spark、Hadoop、Hive，有20多位Apache的Committers。团队的主要贡献集中于Spark，在Spark进入Apache时就开始合作，做出了功能、性能、易用性等方面的一些贡献。目前我们在整个Spark开源社区都是名列前茅的。从自身角度来讲，团队很早之前就涉及到了对于Hadoop MapReduce的一些工作，在这个过程中我们发现，MapReduce天生存在一定的性能缺陷。无论是任何一个成功的大数据框架还是平台，只有走进真实工业性用户才能得到很好的效果和反馈。我