DTCC2016-开源的虚拟大数据存储系统Alluxio （前Tachyon）的功能与使用案例介绍.pdf

开源的虚拟大数据存储系统Alluxio （前Tachyon）的功能与使用案例介绍 顾 荣 Alluxio项目 PMC Maintainer 南京大学 PASA大数据实验室博士研究生， 2016/05/14@DTCC 2016 (Beijing) 内容 • Alluxio简介 − Alluxio是什么 − Alluxio 的发展历程 • Alluxio 的系统框架与原理 • Alluxio 的重要特性与适用场景 • Alluxio 的实际应用案例介绍 是什么 • Alluxio是世界上第一个以内存为中心(memory- centric) 的虚拟的分布式存储系统。 • Alluxio介于计算框架和现有的存储系统之间，为 大数据软件栈带来了显著的性能提升。 Alluxio(前Tachyon) 的最初诞生 • 问题 − 传统大数据分析流水线中通过磁盘文件系统（如HDFS）来共享 数据成为影响分析性能的瓶颈； − 大数据计算引擎的处理进程（Spark 的Executor，MapReduce的 Child JVM等）崩溃出错后，缓存的数据也会全部丢失； − 基于内存的