大数据技术原理与应用 第三章 分布式文件系统HDFS.ppt

3.7.3 HDFS常用Java API及应用实例 利用Java API与HDFS进行交互 实例：利用hadoop 的java api检测伪分布式文件系统HDFS上是否存在某个文件？ 准备工作：在Ubuntu系统中安装和配置Eclipse 第一步:放置配置文件到当前工程下面（ eclipse工作目录的bin文件夹下面） 第二步：编写实现代码 3.7.3 HDFS常用Java API及应用实例 利用Java API进行交互，可以使用软件Eclipse编写Java程序。 （1）在Ubuntu中安装Eclipse 利用Ubuntu左侧边栏自带的软件中心安装软件，在Ubuntu左侧边栏打开软件中心 3.7.3 HDFS常用Java API及应用实例 打开软件中心后，呈现如下界面 3.7.3 HDFS常用Java API及应用实例 在软件中心搜索栏输入“ec”，软件中心会自动搜索相关的软件 3.7.3 HDFS常用Java API及应用实例 点击如下图中Eclipse，进行安装 3.7.3 HDFS常用Java API及应用实例 安装需要管理员权限，Ubuntu系统需要用户认证，弹出“认证”窗口，请输入当前用户的登录密码 3.7.3 HDFS常用Java API及应用实例 ubuntu便会进入如下图的安装过程中,安装结束后安装进度条便会消失。 3.7.3 HDFS常用Java API及应用实例 点击Ubuntu左侧边栏的搜索工具，输入“ec”，自动搜索已经安装好的相关软件,打开Eclipse 3.7.3 HDFS常用Java API及应用实例 （2）在Eclipse创建项目 第一次打开Eclipse,需要填写workspace(工作空间)，用来保存程序所在的位置，这里按照默认，不需要改动，如下图 3.7.3 HDFS常用Java API及应用实例 点击“OK”按钮，进入Eclipse软件。开始创建项目，选择顶部菜单File—New—Java Project,如下图 3.7.3 HDFS常用Java API及应用实例 输入项目名称，本教程输入的项目名称是“Dblab”，其他不用改动，点击“Finish”按钮即可。 3.7.3 HDFS常用Java API及应用实例 为项目加载所需要用到的jar包 如何获取jar包 Java API所在的jar包都在已经安装好的hadoop文件夹里，路径：/usr/local/hadoop/share/hadoop(如果读者安装的hadoop不在此目录，请找到jar包所在的文件夹) 3.7.3 HDFS常用Java API及应用实例 在所在项目中加载jar包,具体操作如下：在所选的Eclipse项目(Dblab)上右键点击—弹出菜单中选择Properties—Java Build Path—Libraries—Add External JARS 3.7.3 HDFS常用Java API及应用实例 3.7.3 HDFS常用Java API及应用实例 编程实例 利用Hadoop 的Java API检测伪分布式文件系统HDFS上是否存在某个文件？ 下面编写一个简单的程序来测试伪分布式文件系统HDFS上是否存在input.txt文件？ 第一步:放置配置文件到当前工程下面 需要把集群上的core-site.xml和hdfs-site.xml(这两文件存在/hadoop/etc/hadoop目录下)放到当前工程项目下，即eclipse工作目录的bin文件夹下面。 3.7.3 HDFS常用Java API及应用实例 import?org.apache.hadoop.conf.Configuration;??? import?org.apache.hadoop.fs.FileSystem;?? import?org.apache.hadoop.fs.Path;?? public?class?Chapter3?{???? ????public?static?void?main(String[]?args)?{?? ??????????try?{?? ??????????????String?filename?=? hdfs://localhost:9000/user/hadoop/test.txt;?? ??????????????Configuration?conf?=?new?Configuration();?? ??????????????FileSystem?fs?=?FileSystem.get(conf); ??????????????if(fs.exists(new?Path(filename))){ ??????????????????System.out.printl