Tachyon 0.7.0伪分布式集群安装与测试.PDF

Tachyon 0.7.0伪分布式集群安装与测试 Spark大数据博客 - Tachyon 0.7.0伪分布式集群安装与测试 我们先来看看官方文档是怎么对Tachyon进行描述的： Tachyon is a memory-centric distributed storage system enabling reliable data sharing at memory-speed across cluster frameworks, such as Spark and MapReduce. It achieves high performance by leveraging lineage information and using memory aggressively. Tachyon caches working set files in memory, thereby avoiding going to disk to load datasets that are frequently read. This enables different jobs/queries and frameworks to access cached files at memory speed. 中文的意思就是：Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群 框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyo n获得了高性能。Tachyon工作集文件缓存在内存中，并且让不同的 Jobs/Queries以及框架都能内 存的速度来访问缓存文件。因此，Tachyon可以减少那些需要经常使用的数据集通过访问磁盘来 获得的次数。 这篇文章将介绍如何搭建伪分布式的Tachyon集群。 1、默认情况下Tachyon是基于Hadoop 1.0.4版本进行编译的，这个版本的Hadoop有点老， 所以这里先从github库中将Tachyon下载下来，再进行编译。目前Tachyon的最新版本是0.7.1， 这里就以0.7.0为例进行编译安装。 [iteblog@ tachyon]$ wget /amplab/tachyon/archive/v0.7.0. zip 2、下载完之后，将会在tachyon文件夹下面产生一个名为v0.7.0的文件。其实他是一个zip格式的 文件，我们先将他命名为tachyon-0.7.0.zip，然后解压它： [iteblog@ tachyon]$ mv v0.7.0 tachyon-0.7.0.zip [iteblog@ tachyon]$ unzip tachyon-0.7.0.zip 3、解压后会在当前目录下产生名为tachyon-0.7.0的文件夹，我们进入tachyon-0.7.0文件夹，然 后使用maven进行编译，编译过程根据网络环境大概需要2分钟： 1 / 5 Tachyon 0.7.0伪分布式集群安装与测试 Spark大数据博客 - [iteblog@ tachyon]$ cd tachyon-0.7.0/ [iteblog@ tachyon-0.7.0]$ mvn -Dhadoop.version=2.2.0 clean package -Dskip Tests=true [INFO] [INFO] Reactor Summary: [INFO] [INFO] Tachyon Parent SUCCESS [ 6.419 s] [INFO] Tachyon Common SUCCESS [ 22.506 s] [INFO] Tachyon Under File System SUCCESS [ 0.472 s] [INFO] Tachyon Under File System - Local FS SUCCESS [ 1.887 s] [INFO] Tachyon Under File System - HDFS SUCCESS [ 2.472 s