分布式计算_分布式文件系统.ppt

* * * * * * * * * * * * * * * * * * 在MapReduce程序中使用HDFS 通过的配置选项，Hadoop MapReduce程序可以自动从NameNode中获得文件的情况 在程序中使用HDFS接口 HDFS接口包括： 命令行接口 Hadoop MapReduce Job的隐含的输入 Java程序直接操作 libhdfs从c/c++程序中操作 HDFSHelloWorld.java HDFSHelloWorld.java $HADOOP_HOME/bin/hadoop jar yourjar HDFSHelloWorld HDFS权限控制与安全特性 类似于POSIX的安全特性 不完全，主要预防操作失误 不是一个强的安全模型，不能保证操作的完全安全性 bin/hadoop dfs –chmod,-chown,-chgrp 用户：当前登录的用户名，即使用Linux自身设定的用户与组的概念 超级用户 The username which was used to start the Hadoop process (i.e., the username who actually ran bin/start-all.sh or bin/start-dfs.sh) is acknowledged to be the superuser for HDFS. If this user interacts with HDFS, he does so with a special username superuser. If Hadoop is shutdown and restarted under a different username, that username is then bound to the superuser account. HDFS权限控制与安全特性 超级用户组 配置参数：dfs.permissions.supergroup Disabling permissions set dfs.permissions to false 负载均衡 加入一个新节点的步骤 配置新节点上的hadoop程序 在Master的slaves文件中加入新的slave节点 启动slave节点上的DataNode，会自动去联系NameNode，加入到集群中 Balancer类用来做负载均衡，默认的均衡参数是10%范围内 bin/start-balancer.sh –threshold 5 bin/stop-balancer.sh 随时可以停止负载均衡的工作 balancer可以在线工作，配置参数dfs.balance.bandwidthPerSec可用来控制负载均衡所能够使用的贷款 (bytes/sec for each node) 分布式拷贝 bin/hadoop distcp hdfs://SomeNameNode:9000/foo/bar/ hdfs://OtherNameNode:2000/baz/quux/ 目标也可以是s3://bucket-name/key decommission nodes 手工去掉某些节点 dfs.hosts.exclude配置到conf/hadoop-site.xml中，value是一个本地的文件(excludenodes)，指出需要去掉的节点 这个本地文件(excludenodes)的每一行是一个节点名，指出需要退出的节点 bin/hadoop dfsadmin –refreshNodes，此时NameNode会读入配置文件，知晓需要退出的节点，逐步将节点退出 上述过程结束后，退出的节点就可以关机，用bin/hadoop dfsadmin –report会知道当前的节点 将节点从(excludenodes)文件中删除，再次运行bin/hadoop –refreshNodes就可以将节点重新加入集群 FSCK bin/hadoop fsck [path] [options] options: -move (to /lost+found) or –delete bin/hadoop fsck -- -files –blocks –racks –openforwrite * * ASK: Can the lock of B can be pushed to after we write to table A? (Yes) Go over why this still maintains isolation * * * * * * * * * * * * * * * * * * * * * HDFS可靠性 磁盘数据错误 心跳检测DataNode的健康状况，如果发现问题就采