Tachyon介绍和安装部署.PDFVIP

Tachyon 介绍及安装部署 第 1 页 共 33 页 出自石山园，博客地址：/shishanyuan 目 录 1 TACHYON介绍4 1.1 TACHYON简介4 1.2 TACHYON系统架构5 1.2.1 系统架构5 1.2.2 Tachyon Master结构5 1.2.3 Tachyon Worker结构6 1.2.4 Tachyon Client结构6 1.2.5 场景说明 7 1.3 HDFS与TACHYON 7 2 TACHYON编译部署9 2.1 编译TACHYON 9 2.1.1 下载并上传源代码9 2.1.2 编译代码10 2.2 单机部署TACHYON 12 2.2.1 配置Tachyon12 2.2.2 格式化Tachyon13 2.2.3 启动Tachyon13 2.2.4 验证启动13 2.2.5 停止Tachyon14 2.3 集群模式部署TACHYON 14 2.3.1 集群环境14 2.3.2 配置conf/worker 14 2.3.3 配置conf/tachyon-env.sh15 2.3.4 向各个节点分发Tachyon15 2.3.5 启动HDFS 16 2.3.6 格式化Tachyon16 2.3.7 启动Tachyon17 2.3.8 验证启动18 2.4 TACHYON 的配置18 2.4.1 Tachyon环境变量19 2.4.2 Tachyon通用配置19 2.4.3 TachyonMaster配置20 2.4.4 TachyonWorker配置21 2.4.5 用户配置22 3 TACHYON命令行使用22 3.1 接口说明23 3.2 接口操作示例24 3.2.1 copyFromLocal24 3.2.2 copyToLocal25 3.2.3 ls和lsr 25 3.2.4 count 25 第 2 页 共 33 页 出自石山园，博客地址：/shishanyuan 3.2.5 cat 26 3.2.6 mkdir、rm、rmr和touch26 3.2.7 pin 和unpin 27 4 TACHYON实战应用28 4.1 配置及启动环境28 4.1.1 修改spark-env.sh 28 4.1.2 启动HDFS 28 4.1.3 启动Tachyon28 4.2 TACHYON上运行SPARK28 4.2.1 添加core-site.xml28 4.2.2 启动Spark集群29 4.2.3 读取文件并保存29 4.3 TACHYON运行MAPREDUCE 31 4.3.1 修改core-site.xml31 4.3.2 启动YARN32 4.3.3 运行MapReduce例子32 5 参考资料33 第 3 页 共 33 页 出自石山园，博客地址：/shishanyuan Tachyon 介绍及安装部署 1 Tachyon 介绍 1.1 Tachyon 简介