如果可以说些啥HADOOP_.docVIP

理论与原理概括 Mapreduce 每个Mapreduce任务都会被JobConf初始化为一个JOB，每个JOB可以分为两个阶段，MAP阶段和REDUCE阶段。是谁初始化了他的任务？是JOBtracker和tasktracker.前面的分配任务，后者执行任务。 步骤： 初始化Mapreduce.,利用反射，把Mapreduce的类装饰成JobConf对象。 给对象命名便于在JobTracker和TaskTracker里面进行监测。 设置输出、输入、路径利用工具类FileInputFormat ,FileoutputFormat 获取数据栈inputsplit.他存储的是数据的分片长度和记录了数据的位置。Inputsplit是怎么获取到的？Inputformat 调用getrecordReader生成RecordReader,RR在通过createKey()和createValue()创建出可以处理的Map集合。不同类型的输入都会转成Map来处理。 Map类继承了Mapreducebase,实现了Mapper Reduce类继承了Mapreducebase，实现了Reducer 发布编译运行程序： Mkdir firstjar Javac -classpath ~/hadoop/hadopp-2.0-core.jar -d firstjar//编译，并存放到firstjar Wordcount.java Jar -cvf wordcount.jar -C firstjar/. //打包生成jar 上传文件： ~/hadoop/bin/hadoop dfs -mkdir input ~/hadoop/bin/hadoop dfs -put ~/input/file0* input 部署 将生成的jar文件，放到HADOOP_HOME目录下面 执行：~/hadoop/bin/hadoop jar wordcount.jar wordcount input output 注意： Mapreduce不仅仅只有一个reduce task .每个reduce会收集一个或者多个key,reduce的数量可以通过程序控制。一个reduce产生一个输出文件。没有reduce的时候，程序会将Map task的结果作为最终结果， 有多少个Map task ，就有多少个输出文件。 Hbase 安装 注意：Hbase的版本。在Hbase 的lib下面有hadoop-core.jar 。如果想要与其他版本的Hadoop,那么需要将Hadoop的core.jar和test.jar 复制一份到Hbase的lib下面。 修改Hbase配置文件 Hbase先加载Hbasedefault.xml里面的配置信息，然后加载Hbaseset.xml.所以：两个文件里面有相同配置信息后面加载的会覆盖前面的。 HbaseShell 进入数据库 hbase shell 设计模式 策略模式 好处：动态的改变对象的行为 原则：把一个类中，经常改变，或者将来要改变的部分提取出来作为一个接口，然后在类中包含这个对象的实例。（组合的方式形成以前的类），目的：类的实例在运行时，可以随意的实现这个接口的行为。 实例：会员算积分，刘备锦娘妙计 package nie.design.model.strategy; public class Strategy { public static void main(String[] args) { //大部分模式结构相似，不同在客户端的调用 SetStrategyImpl sstegy1 = new SetStrategyImpl(new StrategyImpl1()); sstegy1.open(); SetStrategyImpl sstegy2 = new SetStrategyImpl(new StrategyImpl2()); sstegy2.open(); SetStrategyImpl sstegy3 = new SetStrategyImpl(new StrategyImpl3()); sstegy3.open(); SetStrategyImpl sstegy4 = new SetStrategyImpl(new StrategyImpl4()); sstegy4.open(); } } interface IStrategy{ void operate(); } class SetStrategyImpl{ private IStrategy strategy; public SetStrategyImpl(IStrategy stra