上传文件到Hadoop失败原因分析与解决方法.docVIP

Java Web 上传文件到Hadoop失败的原因分析及解决方法 1. 问题描述： Eclipse中开发Java Web程序，使用Hadoop-Core JAR包中的Java API，上传文件到Hadoop HDFS文件系统中，上传提示成功，但是在Hadoop集群中通过“hadoop fs –ls /xxx”命令却无法查看到相应的上传文件。 2. 问题原因分析： 其实，本次文件上传并未成功！在Tomcat中观察运行结果，会发现已经出现了Exception“org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=bikun, access=WRITE,?inode=/user:user:supergroup:drwxr-xr-x” ！！ 得到的教训：在编写Java Web程序时，应该多使用“try , catch”语句，在运行Java Web程序中，需要多观察Tomcat的输出结果！ 从上段提示中可以看出，提示“security.AccessControlException”（访问控制异常），导致的结果是“Permission denied”（许可被拒绝），因为“user=bikun, access=WRITE”（当前用户名为“bikun”，他想“写文件”），但是当前文件夹的主人是“user”（“?inode=/user:user:supergroup”），并且访问控制位是“rwxr-xr-x”（即文件所有者“user”是可读写执行“rwx”，所在组“supergroup”是可读可执行“r-x”，其它用户是可读可执行“r-x”）。看到此处，原因已经明朗：因为除了“user”用户之外，其它用户不能写！而当前用户“bikun”却想上传（写）一个文件到“user”目录，违反了访问控制规则，导致抛出“security.AccessControlException”（访问控制异常）。 3. 问题的解决方法 3.1 创建相应子目录，并修改子目录的所有者名称 在Hadoop集群的shell中，运行“hadoop fs –ls / ”,结果如下图，可以看到”/user”目录的访问控制权限是“rwx r-x r-x”，子目录“/user/user”的访问控制权限也是“rwx r-x r-x” 当前想上传文件的用户名是“bikun”（在windows/Linux环境下，当前用户名就是登录windows/Linux时使用的用户名），我们可以使用命令“hadoop fs -mkdir /user/bikun”，在hadoop的“/user”目录中，建立子目录“bikun”（注意，执行次命令时，要保证当前登录所使用的用户名是“user”，如果你安装hadoop时使用的用户名是“xxx”，那么本文中所有的“user”都应该替换为“xxx”）。然后我们使用命令“hadoop fs -chown bikun:supergroup /user/bikun”,修改子目录“bikun”的拥有者为用户“bikun”（因为该目录是“user”用户创建的，所以，初始拥有者是“user”），如果你使用“kkk”用户登录，则需要把本文中的所有“bikun”替换为“kkk”。这几步的运行结果如下图所示： Question Answer： （1）Q: 为什么要创建一个名字为“bikun”的目录？ A: 因为当前windows登录的用户名为“bikun”，此时他想通过Java web 上传一个文件到Hadoop HDFS中，按照Hadoop 1.x 版本的规定，当前用户名为登录用户名。如果你使用“kkk”用户登录，则需要把本文中的所有“bikun”替换为“kkk”。 （2）Q：为什么“bikun”子目录需要建立在“/user”目录下面？ A：因为，按照Hadoop 1.x 版本的规定，上传的文件默认都会放在“/user”目录中，并且根据当前用户名，建立相应的子目录，具体文件存放在相应的子目录中。 （3）Q：为什么需要修改“/user/bikun”目录的所有者名字（由“user”改为“bikun”）？ A：因为从上图的“访问权限位”可以看出，只有目录的所有者才有“写”（w）的权限，将目录“/user/bikun”的所有者改为“bikun”，你就可以在windows/Linux下，使用“bikun”用户登录并上传文件了。 进行上述操作后，就能够成功的上传文件了。进行了三次上传文件的测试，均成功了，使用“hadoop