青海大学-浪潮大数据一体机.docxVIP

青海大学—浪潮大数据一体机2015/9/25目录青海大学—浪潮大数据一体机1一、集群配置各项信息31.1：集群IP地址分布31.3：集群软件环境4二、集群web监控界面登录5三、集群开关机顺序63.1、关机63.2、开启服务7四、大数据常用命令84.1、hdfs84.2、hbase13一、集群配置各项信息1.1：集群IP地址分布节点名称节点作用以太网地址Namenode1管理节点49.209.80.160Namenode2备用管理节点49.209.80.161Datanode1第一台计算节点49.209.80.162Datanode2第二台计算节点49.209.80.163Datanode3第三台计算节点49.209.80.164Datanode4第四台计算节点49.209.80.165Datanode5第五台计算节点49.209.80.166Datanode6第六台计算节点49.209.80.167Datanode7第七台计算节点49.209.80.168Datanode8第八台计算节点49.209.80.169Datanode9第九台计算节点49.209.80.170Datanode10第十台计算节点49.209.80.171Datanode11第十一台计算节点49.209.80.172Datanode12第十二台计算节点49.209.80.173Datanode13第十三台计算节点49.209.80.174Datanode14第十四台计算节点49.209.80.175Datanode15第十五台计算节点49.209.80.176Datanode16第十六台计算节点49.209.80.177Datanode17第十七台计算节点49.209.80.178Datanode18第十八台计算节点49.209.80.179Datanode19第十九台计算节点49.209.80.180Datanode20第二十台计算节点49.209.80.181Datanode21第二十一台计算节点49.209.80.182Datanode22第二十二台计算节点49.209.80.1831.3：集群软件环境1.3.1：集群基本环境操作系统版本Redhat 6.4 X86_64内核版本2.6.32-358.el6.x86_64万兆网卡驱动版本version: 4.0.1-k1.3.2：大数据软件版本软件名称版本inspur_edu-4.1+14229-zh.el6.x86_644.1Yarn2.5.2Hdfs2.5.2Hbase0.98Hive0.12二、集群web监控界面登录注：需要使用火狐或者谷歌浏览器在浏览器输入：49.209.80.160:8180用户名及密码：admin/admin登录后界面如上。三、集群开关机顺序3.1、关机需要在web界面下以此停掉大数据服务，停服务顺序如下：KAFKA1--InceptorML1--InceptorSQL1--Hyperbase1—YARN1—HDFS1--ZooKeeper1需要在web界面下，每个服务依次停掉，方法如下：以停掉inceptorSQL1为例，鼠标点击进去点击红色表示内停止按钮即可。3.2、开启服务注：服务器开机没有任何顺序，直接开机即可所有服务器开启进入系统完毕后，使用浏览器登入web界面，依次开启如下服务ZooKeeper1--HDFS1--YARN1--Hyperbase1--InceptorSQL1--InceptorML1--KAFKA1以打开inceptorSQL1为例，点击进入点击红色表示内开启按钮即可。四、大数据常用命令4.1、hdfsFS Shell调用文件系统(FS)Shell命令应使用?bin/hadoop fs args的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。cat使用方法：hadoop fs -cat URI [URI …]将路径指定文件的内容输出到stdout。示例：hadoop