数据科学入门–让数据思维成为生活的一部分.pdf

數據科學入門 – 讓數據思維成為生活的一部分 丘祐瑋 – David Chiu EMAIL: david@ 網站: 電話: +886929094381 關於我 • 大數軟體有限公司創辦人 • 前趨勢科技工程師 • • 大數學堂 / • 粉絲頁 /largitdata • R for Data Science Cookbook /big-data-and-business- intelligence/r-data-science-cookbook • Machine Learning With R Cookbook /big-data-and-business- intelligence/machine-learning-r-cookbook Machine Learning With R Cookbook (机器学习 与R语言实战) R for Data Science Cookbook Author: Yu-Wei (David) Chiu 什麼是數據科學? 數據 科學 哪家公司沒有數據 ? 哪家公司不科學了? EDUCATION FINANCE AGRICULTURE + TECH 如何快速整合分析不同的資料源 如何快速整 合分析不同 的資料源? 加一點數學統計 加一點工程 產生數據科學 只有工程統計還不夠 數據科學 數據科學能力 • 統計 (Statistic) 單變量分析、多變量分析、變異數分析 • 資料處理 (Data Munging) 抓取資料、清理資料、轉換資料 • 資料視覺化(Data Visualization) 圖表 、商業智慧系統 軟體工程師 資料庫管理員 統計學家 商業分析師 學習統計並瞭解 如何處理 要知道如何處理 數據科學能力 了解演算法並知道 如何詮釋結果 非結構化資料 巨量資料問題 在不同資料量下該 使用何種工具 解構! 探討數據科學流程 使用數據擬定策略 數據科學步驟 資料視覺化 資料分析 資料儲存 資料清理 資料蒐集 資料蒐集 結構化資料 • 每筆資料都有固定的欄位、固定的格式，方便程式進行後續取用與分析 • 例如:資料庫 半結構化資料 • 資料介於結構化資料與非結構化資料之間 • 資料具有欄位，也可以依據欄位來進行查找，使用方便，但每筆資料的欄位 可能不一致 • 例如:XML, JSON 非結構化資料 • 沒有固定