1-大数据技术架构教程.pptx

第一課：大數據技術架構解析 陳海燕 2016.10.24 整理 目錄 一、大數據建設思路 一、大數據建設思路 大數據數量龐大，格式多樣化。大量數據由家庭、製造工廠和辦公場所的各種設備、互聯網事務交易、社交網路的活動、自動化感測器、移動設備以及科研儀器等生成。它的爆炸式增長已超出了傳統IT基礎架構的處理能力，給企業和社會帶來嚴峻的資料管理問題。因此必須開發新的資料架構，圍繞“數據收集、數據管理、數據分析、知識形成、智慧行動”的全過程，開發使用這些資料，釋放出更多數據的隱藏價值。 1.數據的獲得 1.數據的獲得 大數據產生的根本原因在於感知式系統的廣泛使用。隨著技術的發展，人們已經有能力製造極其微小的帶有處理功能的感測器，並開始將這些設備廣泛的佈置於社會的各個角落，通過這些設備來對整個社會的運轉進行監控。這些設備會源源不斷的產生新資料，這種數據的產生方式是自動的。因此在數據收集方面，要對來自網路包括物聯網、社交網路和機構資訊系統的資料附上時空標誌，去偽存真，盡可能收集異源甚至是異構的數據，必要時還可與歷史數據對照，多角度驗證數據的全面性和可信性。 2.數據的匯集和存儲 數據只有不斷流動和充分共用，才有生命力。應在各專用數據庫建設的基礎上，通過數據集成，實現各級各類資訊系統的數據交換和數據共用。數據存儲要達到低成本、低能耗、高可靠性目標，通常要用到