大数据环境配置与组件部署概述.pdfVIP

大数据培训文档

提纲

综述：

有哪些环境

-u系列（u1,u2,u3,u4）只有hadoop可以直接能，没有内网6.5

-y系列（y1,y2,y3,y4,y5）hadoop不能直接，对应的内网是w系列(w1,w2,w3,w4,w5)

6.4

Aws美东（东部）-a系列目前只有a1，对应着内网是z系列（z1,z2,z3）7.0

各个环境的职责和关系：

u-uat用户体验环境（开发测试环境）

y-沿用了原来的名称，其实是我们的生产环境

aws美东-所有非国内的流量都是走美东的

都需要安装哪些安装的组件：

1.flume

2.zookeeper

3.kafka

4.storm

5.yarn

6.hadoop

环境和组件的安装搭配关系

er-server-

info.xls

各个组件的职责和关系

各个模块之间关系.

vsd

都开发了哪些应用：

Ă按照配合产品分类：

Ă．ϭƐƚŽƌŵ使用

a．2hadoop使用

b.按照运行持续性分类：

b.1实时运行-storm对应的jar程序包

b.2按小时运行-hadoop对应的jar程序包

b.3按天运行-hadoop对应的jar程序包

b.4按需手工运行-hadoop对应的jar程序包

具体说明每个jar的功能，名称，及如何安装，配置，等

1.X

2.Xx

3.。。。

4.。。

5.

6.

如何打包及部署应用：

1.Storm，

分为request,response,winnotice,impression,click,conversion,agent，

以conversion举例：

修改参数：

使用fatjar导出

会速度稍慢。

然后上传

修改拥有者权限：

送到运行位置：

查看启动的是否关联当前的jar文件,如果是关联当前，就启动看看

查看当前的topic

要求flume机器看看conversion的topic

可以看到flume的内存消耗量：

2.hadoop

对于美东aws的机器镜像，每次备份后重新启动的话，都要搞一个actionlist：

1.看清楚地址：

Aws新增hadoop实例步骤：

点击“viewinstances”

修改/etc/hosts添加65z4到文件末尾。

分hosts文件到所有的主机：

修改hadoop集群的机器名称

修改同步过后的slave文件：

重启hadoop，让新配置的机器进入集群：

验证：

查看发现nodemanager没有启动

找到对应的需要替换的文件yarn-site.xml

替换z2为z4,再去z1重新启动hadoop，把刚刚加入的新的实例放置到集群中

Svn配置安装等

htpasswd-cm/etc/svn-usersjasper

servicehttpdrestart

htpasswd-m/etc/svn-usersitang