Hadoop大数据技术与项目实战 实训指导书——2.2.4 Linux项目路径规划.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

Linux项目路径规划

一、任务描述

通过实战操作，学习Linux系统中几个常用的目录结构及功能，了解本课程在后续

项目开发过程中的Linux系统路径规划。

二、能力目标

1.能够熟练的掌握Linux系统中几个常用的目录结构及功能

2.熟悉本课程在后续项目开发过程中的Linux系统路径规划

三、任务准备

1.启动node1、node2虚拟机

2.Xshell软件

四、任务实施

学习Linux系统的目录结构

1.node1节点的相关目录结构

（1）使用命令cd/进入到Linux的根目录下，使用命令ll查看根目录下的所有内容

1

山西职业技术学院《Hadoop大数据技术与项目实战》

（2）部分重要目录详解

A.第一个是etc目录，这个目录用来存放系统管理所需要的配置文件，系统所有的

配置文件全部存储在该目录下，如profile、hosts等文件。

B.第二个是home目录，存放普通用户的家目录，初始为空。在Linux系统中每个

用户都有一个自己的家目录，比如我们创建了普通用户bigdata，那么在Linux的home

目录中，就存在bigdata目录。

C.第三个是opt目录，该目录是给主机额外安装软件所设置的目录，默认为空。

该目录是后续我们在开发项目过程中使用最多的目录，在该目录下存放着项目所安装的

全部软件及所有数据文件。

2

山西职业技术学院《Hadoop大数据技术与项目实战》

2.在后续项目开发过程中的Linux系统路径规划

在opt目录下创建四个子目录，分别是module、projectsoftware、和testData。

(1)software目录

用来存放各种软件安装包，在安装某一款软件时，会通过Xftp工具把该软件对应版

本的安装包上传到software目录。在整个项目开发过程中，Hadoop、Flume、Kafka、

Hive、Sqoop、MySQL、Zookeeper、JDK等安装包上传到该目录下。

(2)module目录

是软件的安装目录，所有安装的大数据服务软件全部指定安装在Module目录下，

如Hadoop、Flume、Kafka、Hive、Sqoop、Zookeeper、JDK等，均安装在该目录下。

(3)project目录

在该目录下创建offlineDataWarehouse目录，该目录是本项目的操作目录，该目录

下存放项目开发过程中产生的所有文件。在该目录下，再创建四个子目录，分别是

data_collection、jar、user_behavior_logs、logs，

A.data_collection目录用来存放项目中，Flume数据采集系统相关脚本文件；此处

需要说明一下，在node2节点的相同目录下，会存放Flume数据消费脚本文件。

B.jar目录用来存放生成数据源的jar包和运行该jar包的脚本文件。因为项目的源

数据是通过运行一个给定的jar包模拟生成的，脚本文件就是运行该jar包的一个脚本文

件。生成模拟数据存放在user_behavior_logs目录中。

C.logs目录是整个项目运行过程中所产生的所有日志文件。

D.最后，建议大家创建一个专门用于存放测试数据的目录testData目录，或者用

其他名字命名也可以。需要运行一些测试的脚本文件或数据文件时，都可以放在这个目

3

山西职业技术学院《Hadoop大数据技术与项目实战》

录下进行管理。

3.项目路径规划结构

当项目完成之后，目录的总体结构和其中的主要内