spark学习材料.ppt

spark技术探秘 技术部 Spark是什么 Spark是一个基于内存计算的开源的集群(分布式）计算系统 Spark非常小巧玲珑，由加州伯克利大学AMP实验室的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码只有63个Scala文件，非常短小精悍。 由于是基于内存计算，效率要高于拥有Hadoop，Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，节省了磁盘IO耗时，号称性能比Hadoop快100倍。 Spark特性 容错性：在分布式数据集计算时通过checkpoint来实现容错，而checkpoint有两种方式，一个是checkpoint data，一个是logging the updates。用户可以控制采用哪种方式来实现容错。 通用性：Spark通过提供丰富的Scala, Java，Python API及交互式Shell来提高可用性。 Spark架构 生态体系 Shark(SQL) shark与hive对比 Bagel(Pregel on spark)： Bagel是基于Spark的轻量级的Pregel(Pregel是Google鼎鼎有名的图计算框架)的实现。 Shark ( Hive on Spark) Shark是在Spark的框架基础上提供和Hive一样的H iveQL命令接口，Shark可以自动在内存中缓存特定的RD