大数据体系结构.pptxVIP

大数据科学与工程系列 大数据体系结构;主要内容;一、大数据时代的新命题;谷歌大数据中心：全球主要DC有8个;大数据表象概念：百度数据规模;大数据表象概念：对系统要求;大数据时代的新命题:;信息社会需求：信息化-智能化-现代化;信息时代数据大爆炸，推动智能技术发展;信息时代，软件编程模型发展;大数据＋技术架构?数据智能;二、大数据的系统架构;传统数据库技术架构:;大数据架构：分层架构;大数据的系统架构：整体系统架构;大数据架构：整体逻辑功能架构;大数据架构理解：搜索引擎;大数据架构理解：网页内容抓取;大数据系统架构Hadoop;大数据系统架构Hadoop;大数据系统架构Hadoop：功能定位;1.大数据系统架构Hadoop：层次对应;大数据：分布式计算架构;大数据架构: MapReduce工作原理1;大数据架构: MapReduce工作原理2;三、大数据的关键技术;大数据关键技术到底有哪些？ 核心问题是：(计算、存储、分析)算法;大数据关键技术1：大数据存储技术;大数据关键技术2：并行计算能力;数据爆炸，知识贫乏;基于计算流体力学的三维呈现: 如用能场所3D场景及CFD温度及能效云场呈现如下图。;大数据分析;大数据关键技术5：数据挖掘算法;Debt10% of Income;数据挖掘的主要方法;数据挖掘主要方法：ETL;四、物联网与云计算架构;互联网上的物联网：概念