MapReduce and Hadoop File System - 華梵大學 圖書資.PDFVIP

Hadoop+R應用於資料分析 Outline  Hadoop 介紹  R 介紹  Hadoop+R 介紹  Mongodb  Fluentd  Drill  Demo 2 Hadoop 3 What is Hadoop?  Hadoop is a software platform that lets one easily write and run applications that process vast amount of data.  它是軟體平台用來處理程式具巨量資料  Hadoop can reliably store and process petabytes.  它可用來可靠地儲存和處理PB級巨量資料  It distributes the data and processing across clusters of commonly available computers. These clusters can number into the thousands of nodes.  它將資料和處理程序分散到可以使用的電腦上 ，而 且這些電腦的數量可以達到上千台之多 4 What is Hadoop?  By distributing the data, Hadoop can process it in parallel on the nodes where the data is located. This make it extremely rapid.  藉由分散資料的 處理，Hadoop可以平行的運算這些 資料 ，使得處理速度變得非常快速  Hadoop automatically maintains multiple copies of data and automatically redeploys computing tasks based on failures.  Hadoop可以 將運算的程式和放置的資料在每一個可 以運行的節點間 進行複製和自動化的備份，可以避 免執行中的程式或存放的資料 ，因為電腦的硬體或 系統的上的損壞而使程式無法執行或檔案損毀 5 Apache Hadoop / 6 Hadoop 免費軟體  利用MapReduce作為分散式處理技術  利用 HDFS作為分散式檔案 系統 7 MapReduce 8 MapReduce 是一種軟體框架 (Software Framework) 可在不同電腦 組成的叢集(Clusters)上執行 能為巨量資料 (Big Data)做 分散運算處理  此框架的功能概念主要是映射(Map)和化簡 (Reduce)兩種 實作上可用 JAVA 、R或 其他程式語言來達成 9 MapReduce  Map 從主節點 (Master Node)輸入一組 Input ，此 Input是一 組 key/value序對 ，將