Java基础知识之hadoop源码阅读必备.doc

java 程序员你真的懂java吗？ 一起来看下hadoop中的如何去使用java的 大数据是目前IT技术中最火热的话题，也是未来的行业方向，越来越多的人参与到大数据的学习行列中。从最基础的伪分布式环境搭建，再到分布式环境搭建，再进入代码的编写工作。这时候码农和大牛的分界点已经出现了，所谓的码农就是你让我做什么我就做什么，我只负责实现，不管原理，也不想知道原理。大牛就开始不听的问自己why？why？why？于是乎，很自然的去看源码了。然而像hadoop这样的源码N多人参与了修改和完善，看起来非常的吃力。然后不管如何大牛就是大牛，再硬的骨头也要啃。目前做大数据的80%都是从WEB开发转变过来的，什么spring mvc框架、SSH框架非常熟悉，其实不管你做了多少年的WEB开发，你很少接触到hadoop中java代码编写的风格，有些人根本就看不懂什么意思。下面我来介绍下hadoop源码怎么看。 hadoop体现的是分布式框架，因此所有的通信都基于RPC来操作，关于RPC的操作后续再介绍。hadoop源码怎么看系列分多个阶段介绍，下面重点介绍下JAVA基础知识。 一、多线程编程 在hadoop源码中，我们能看到大量的类似这样的代码 return executor.submit(new CallableString() { @Override public String call() throws Exception { //方法类 } 下面简单介绍下java的多线程编程 启动一个线程可以使用下列几种方式 1、创建一个Runnable，来调度， 返回结果为空。 ExecutorService executor = Executors.newFixedThreadPool(5); executor.submit(new Runnable() { @Override public void run() { System.out.println(runnable1 running.); } }); 这种方式启动一个线程后，在后台运行，不用等到结果，因为也不会返回结果 2、创建一个Callable，来调度，有返回结果 FutureString future1 = executor.submit(new CallableString() { @Override public String call() throws Exception { // TODO Auto-generated method stub //具体执行一些内部操作 return 返回结果了！; } }); System.out.println(task1: + future1.get()); 这种启动方式一直等到call的方法体执行完毕后，并返回结果了才继续执行下面的代码 二、内部类实现 hadoop中同样能看到大量这样形式的代码 status = ugi.doAs(new PrivilegedExceptionActionJobStatus() { public JobStatus run() throws IOException, InterruptedException, ClassNotFoundException { return submitter.submitJobInternal(Job.this, cluster); } }); 这是一个典型的内部类实现，PrivilegedExceptionAction是一个接口，里面有一个run方法需要实现，程序调用的时候，会执行里面的submitter.submitJobInternal方法体 为了方便大家理解，我写了一个模拟程序来演示 先定义一个接口类 public interface TransactionAction { void execute() throws Exception; } 再定义一些模板方法，参数对象是一个接口来处理相关业务 public class TemplateAction { public void transactionProcess(TransactionAction action, ActionEvent event){ System.out.println(lock); try { action.execute(); } catch (Exception e) { // TODO Auto-generat