BigDataOpenData数据处理与分析实务课程（双认证）.docx

Big Data/Open Data 數據處理與分析實務課程 (雙認證) 課程名稱 : Big Data/Open Data 數據處理與分析實務課程 (雙認證) 上課天數 : 三天 上課日期:11/13,14,15 (四五六) 上課時間:9:30-16:30 (11/14及11/15 16:30-17:20 考試) 上課地點:健行科技大學 商學院 C206A教室 地址:桃園縣中壢市健行路229號 1. 課程介紹 何謂 BIg Data ？ 我們每天建立幾百 G 的資料 — 數量之大，光是過去兩年所建立的資料就佔當今世界總量的 90%。 這些資料來源廣泛， 像是用於搜集氣候資訊的感應器(物聯網)、社交媒體網站的貼文、數位圖片與影像、採購交易記錄以及行動電話 GPS 訊號等，不一而足， 這類的資料就是 Big Data。 Big Data 含括三種層面： 巨量、即時性及多樣性。 1. 巨量 (Volume) – 海量資料的特色就在於： 龐大。 企業資料包羅萬端，很容易便達到數兆位元組，甚至千兆位元組之譜。 2. 即時性 (Velocity) – 海量資料通常具有時效性，一旦串流至企業便須立即使用，方能發揮其最大價值。 3. 多樣性 (Variety) – 海量資料的範疇不僅止於結構化資料，還包含各類非結構化的資料： 諸如文字、音訊、視訊、點擊串流 (click stream)、日誌檔等等。 這 3 個資料特性，已經是現在式，而不是未來式。然而該如何解決日漸緊迫的巨量資料處理問題呢？像 Facebook、Twitter 這樣面臨資料量大爆炸的網路公司，開始用 Hadoop、NoSQL 等新興技術來解決問題。 挑戰還是機會？ Big Data 不只是一項挑戰， 更是絕佳的機會，讓您能夠洞悉新興的資料類型、使企業運作更加靈敏並為過往所無法企及的問題提供解答。 但在此之前，這種機會並無實際方法可以掌握。 今天，Big Data 平台採用 Hadoop 等技術，能為充滿各種可能性的世界開啟一扇大門。 Hadoop 技能有高度需求 由於成長型企業在Hadoop和相關技術方面的興趣，同時也推動了企業在巨量資料(big data)方面的專業人力需求，而資料分析師、資料科學家和資料管理師將獲得大鳴大放的機會。 在紐約舉辦的 Hadoop World 會議上，分析師和IT經理人一再指出，採用 Hadoop 技術的公司面臨的主要挑戰之一就是技術可用性(skills availability)，並表示具有 Hadoop 技能的人同時也掌握了更多收入。 摩根大通集團(JP Morgan Chase)和EBay的 IT 主管利用主題演講的機會，大肆招攬與會學員加入Hadoop 的行列，這種情況似乎也顯示了這樣的技能在市場供給上多麼有限。eBay 負責搜尋平台的資深副總裁 Hugh Williams 除了在演講中提到 eBay 正在招募 Hadoop 專才以外，同時更邀請現場有興趣的人直接找機會與他對談。摩根大通總經理 Larry Feinsmith 也接著 Williams 的講談內容，更開玩笑地告訴聽眾，摩根大通也雇用 Hadoop 技術專才，同時還願意付比 eBay 高10%的酬勞！Forrester 分析師 James Kobielus 則說，Hadoop 是一種新的資料倉儲型態，是企業中資料的新來源。企業對那些具備足夠 Hadoop 技能的人提供一份優渥的薪資，期望能利用這樣的技術為公司在市場上取得優勢。 Hadoop 允許企業儲存和管理的結構化或非結構化資料的資料量，遠遠大於今日的 RDBMS（關連式資料庫管理系統）所能處理的量，而且經濟實惠。 在這方面技術有需求的企業數量一直不斷成長，為了儲存和分析像 weblogs 的 peta 級資料量、點擊串流資料和社交媒體內容，以對他們的顧客和生意有更深入的了解。由於越來越多企業的投入，也使得高階分析人才需求度不斷增加，這包含在以下方面具有專長的人：像是多變量分析、資料探勘、預測模型、自然語言處理，內容分析，文字分析與和社交網路分析，Kobielus 說。「就廣義的巨量資料（尤其是 Hadoop ）來說，這些企業應用的需求同時也驅動了企業對IT專才的需求，企業更需要能夠在使用進階分析方法上（像是為了預測和統計模型的 MapReduce 和R）有經驗的人才，」Kobielus 說，因為這些資料分析師或資料科學家們可以利用 Hadoop 的環境，來處理結構化或非結構化資料，以提商務智慧和洞察力。 企業對 Hadoop 平台的興趣也創造了 Hadoop 平台管理專才的需求，Kobielus 說。這些專才的工作是以 Hadoop 叢集、安全、管理與最佳化來回應企業需求，並確保叢集可用性。在每一個執