第三季成果报告990421赖智锦.PPT

子計畫：自動化大量資料切割與整合 國立高雄大學 電機工程學系 賴智錦/詹奇峰 第三季成果 What had been expected to do 以修正後的資料切割與重組演算法，設計多引線(multi-thread)的版本。 以C或類似語言進行單機系統模擬。 修正資料切割與重組有關之演算法。 What were achieved 瞭解分散式工具Hadoop中MapReduce的執行原理。 以Java語言進行單機系統模擬。 針對單一版本的Hadoop，進行多引線的演算法設計。 Any mismatches 尚未進行更多樣的多引線分析。 尚未進行其他Hadoop版本的多引線API設計。 第三季成果 Any difficulties 多引線之API開發，發展還不算完全。 由於Hadoop版本的不同，將會造成API的限制設計。 Future tasks 若需投入更多樣的分析，需從自行設計多引線API下手。 對於multi-thread的設計原理與應用，需更深入瞭解。 針對不同Hadoop版本的多引線之API進行分析。 Comments 需分析範例的特性，是否適宜於雲端運算的multi-thread 設計。 第三季成果 Mapper Record* MultithreadedMapper MultithreadedMapper.Runner MultithreadedMapper.SubMapRecord* Mapper.Context Thread 1 Thread 2 Thread 3 Thread 4 … Thread x Hadoop Multithread Framework 第三季成果 Import … //Load Hadoop API Class MapRed{ Class Mapper …{ // Map Code } Class Reducer …{ //Reduce Code } main(){ JobConf Job = new JobConf(“MapRed.class”); Job.setMapperClass(Mapper.class); Job.setReduceClass(Reducer.class); FileInputFormat.setInputPaths(Job ,new Path(args[0])); FileOutputFormat.setOutputPath(Job, new Path(args[1])); JobClient.runJob(Job); //Other Code Set }} Reduce … Main … Map … Import … 第三季成果 Import … import org.apache.hadoop.mapred.lib.MultithreadedMapRunner; //Load Hadoop API Class MapRed{ Class Mapper …{ // Map Code } Class Reducer …{ //Reduce Code } main(){ JobConf Job = new JobConf(“MapRed.class”); Job.setMapperClass(Mapper.class); Job.setReduceClass(Reducer.class); FileInputFormat.setInputPaths(Job ,new Path(args[0])); FileOutputFormat.setOutputPath(Job, new Path(args[1])); conf.setMapRunnerClass(MultithreadedMapRunner.class); conf.setInt(mapred.map.multithreadedrunner.threads, 10); JobClient.runJob(Job); //Other Code Set }} Reduce … Main … Map … Import … MultithreadedMapRunner(版本0.20.0之前)? 第三季成果 MultithreadedMapRunner(版本0.20.0之後)? Import … import org.apache.hadoop.m