HADOOP配置注意事项以及常见错误处理方法-火龙果软件.PPTVIP

真实案例分析---（2）误操作灾难恢复 问题处理 3，删除hive中的所有表。 在hadoop机器的CRT下敲入hive，然后在hive的命令行下敲入show tables，找到所有的表，并删除。 将所有的表删除，即可。 4，启动hadoop的采集，系统会自动建表。 后续分析 删除所有表的原因。 因为所有的表的数据都被删掉了。但是表的信息还存放在HIVE 的MYSQL中。如果不删除会造成，在建表的时候，表无法建立， 但是因为hive中没有对应的目录结构，造成数据无法写入，报错。 如果/user/boco被删除，按照如下操作。 1,建立boco的目录并配置权限 sudo -u hdfs hadoop fs -mkdir -p /user/boco sudo -u hdfs hadoop fs -chown boco:boco /user/boco 2，建立oozie_wy目录。 hadoop fs -mkdir /user/boco/oozie_wy 然后执行job.sh，然后重新采集即可。 备注 在操作hadoop删除文件的时候，尽量避免使用sudo -u hdfs。以免造成这种后果。 真实案例分析---（3）主节点空间怎么清理 某省主节点空间占用了88个G，而且还在继续增长 问题现象 如右图所示，/var空间占用了88G。 主要的目录是/var/lib/cloudera-scm-server-db/data 问题分析 该目录主要是因为postgresql占用的空间。 hadoop使用postgresql主要是mgmt1服务存放日志用。 解决方案 配置mgmt1服务清理日志的时间间隔即可。 详细见本PPT的22页，mgmt1的配置。 配置完毕之后，重启mgmt1，可以自动清理空间。 结束 QA TDMRO以及LTEMRO采集配置 密码加密 在主节点的/home/boco/oozie_wy目录下， 执行：java -jar wangyou.jar base64 [密码]，生成就是加密后的密码。前文件中所有密码的位置，都需要进行这样的加密。 验证密码是否可以正确解密： java -jar wangyou.jar base64_decode [加密密码]，看是否可以还原为加密前的密码。 将程序上传HDFS hadoop dfs -rm -r oozie_wy/* hadoop dfs -put upload/* oozie_wy/ hadoop dfs -put wangyou.jar oozie_wy/lib/ hadoop dfs -put config oozie_wy/ hadoop dfs -ls oozie_wy TDMRO以及LTEMRO以及LTEMRS采集配置 MRO/MRS的采集逻辑 LTEMRO和LTEMRS的： 采集的INI文件会在采集06点数据或者INI文件不存在的情况下生成。 天汇总,在每天的2点汇总前一天的数据 周汇总,在每周1的3点汇总前一周的数据 月汇总,在每月1号4点汇总前一个月的数据 java -jar wangyou.jar ltemro 2014-11-01_04 TDMRO的： 天汇总在每天采集0点的数据触发； 周汇总在每周一采集1点的数据触发； 月汇总在每月1号采集2点的数据触发； 采集方式如下： 在主节点oozie_wy目录下执行： java -jar wangyou.jar ltemro [omc列表，以“,”分隔] [时间列表，以“,”分隔] 例如：java -jar wangyou.jar ltemro 4444,5555 2013-11-29_00,2013-11-29_01 建议一次采集所有的OMC，可以采集多个时间点。 TDMRO以及LTEMRO采集配置 MRO_LAOD的部署 该程序可以部署在数据库上，也可以部署在其他的机器上。如果是informix省份且部署LTEMRS采集，则必须将该程序放在数据库主机上。 必须有perl的环境，必须可以执行DBLOAD或者SQLLDR。 在mro_load/bin目录下执行perl mro_load.pl。将会有一个perl mro_load.pl的程序在后台执行，持续地监视着是否有新的数据文件上传。当发现新文件时，将会自动将其导入到数据库内。 入库的核查 如果发现有表入库不全。 将mro_load程序杀掉，然后手动将程序包解压开，手动执行dbload或者是sqlldr，查看是否有报错。如果有报错，则查看dbload或者是sqlldr的日志。 处理完毕之后，将mro_load进程启动。 自动采集程序 java -jar wangyou.jar loop ltemro java -jar wangyou.jar loo