Hadoop大数据技术与项目实战 实训指导书——3.1 项目数据源及产生方法.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

项目数据源及产生方法

一、任务描述

将模拟产生数据源的程序jar包上传至Hadoop集群，通过命令运行该jar包，产生

数据源中一天的模拟数据。

二、能力目标

1.掌握执行Java程序的命令

2.能根据要求产生一天的项目数据

三、任务准备

1.启动node1、node2、node3三台虚拟机

2.Xftp软件

3.OfflineDataWarehouse_DataSource-1.0-jar-with-dependencies.jar

四、任务实施

1.创建项目数据存放目录

在opt目录下创建project目录。

[bigdata@node1~]$cd/opt

[bigdata@node1opt]$mkdirproject

在project目录中，创建offlineDataWarehouse文件夹。

[bigdata@node1opt]$cdproject/

[bigdata@node1project]$mkdirofflineDataWarehouse

在offlineDataWarehouse目录中创建logs文件夹及jar文件夹。

[bigdata@node1project]$cdofflineDataWarehouse/

[bigdata@node1offlineDataWarehouse]$mkdirlogs

[bigdata@node1offlineDataWarehouse]$mkdirjar

1

山西职业技术学院《Hadoop大数据技术与项目实战》

2.上传产生数据的jar包

使用Xftp软件将模拟产生数据的程序jar包OfflineDataWarehouse_DataSource-1.

0-jar-with-dependencies.jar以拖拽的方式上传到/opt/project/offlineDataWarehouse/ja

r目录中。

使用ll命令可以查看到jar文件夹中已经上传的jar包，该jar包的作用是模拟生成

项目源数据。

[bigdata@node1jar]$ll

总用量3128

-rw-rw-r--.1bigdatabigdata32001101月OfflineDataWarehouse_DataSource-1.0

-jar-with-dependencies.jar

3.生成一天的模拟数据

本项目数据为2021年4月1日到4月30日共30天的模拟数据，本节以产生2021

年4月30日一天的数据为例，阐述生成数据的具体方法。

（1）修改集群日期

在产生模拟数据之前，应将当前集群日期修改为模拟数据的日期，此处以修改为

2021年4月30日为例，操作方法如下：

①在Xshell撰写栏中输入修改集群日期的命令：sudodate-s2021-04-30

②在Xshell撰写栏中输入bigdata用户密码123456

分别在node1、node2、node3三个节点中可以看到集群日期修改成功。

[bigdata@node1offline]$sudodate-s2021-04-30

[sudo]bigdata的密码：

2021年04月30日星期五00:00:00CST

（2）运行jar包，生成数据

2

山西职业技术学院《Hadoop大数据技术与项目实战》

在node1节点的/opt/project/offlineDataWarehouse/jar目录下，执行生成模拟数据

的命令。

[bigdata@node1jar]$java-classpathOfflineDataWarehouse_DataSource-1.0-jar-wit

h-depende