大数据体系结构及技术解决方案.pptx

大数据科学与工程系列 大数据体系结构1;主要内容;一、大数据时代的新命题;谷歌大数据中心：全球主要DC有8个;大数据表象概念：百度数据规模;大数据表象概念：对系统要求;大数据时代的新命题:;信息社会需求：信息化-智能化-现代化;信息时代数据大爆炸，推动智能技术发展;信息时代，软件编程模型发展;大数据＋技术架构?数据智能;二、大数据的系统架构;传统数据库技术架构:;大数据架构：分层架构;大数据的系统架构：整体系统架构;大数据架构：整体逻辑功能架构;大数据架构理解：搜索引擎;大数据架构理解：网页内容抓取;大数据系统架构Hadoop;大数据系统架构Hadoop;大数据系统架构Hadoop：功能定位;1.大数据系统架构Hadoop：层次对应;大数据：分布式计算架构;大数据架构: MapReduce工作原理1;大数据架构: MapReduce工作原理2;三、大数据的关键技术;大数据关键技术到底有哪些？ 核心问题是：(计算、存储、分析)算法;大数据关键技术1：大数据存储技术;大数据关键技术2：并行计算能力;数据爆炸，知识贫乏;基于计算流体力学的三维呈现: 如用能场所3D场景及CFD温度及能效云场呈现如下图。;大数据分析;大数据关键技术5：数据挖掘算法;Debt10% of Income;数据挖掘的主要方法;数据挖掘主要方法：ETL;四、物联网与云计算架构;互联网上的物联网：概念;互联网上的物联网：发展;物联网的体系架构;物联网的体系架构;物联网的体系架构;物联网示范：智能家居大数据管理系统;物联网示范：动态跟踪管理，牧场大数据;物联网示范：医疗健康大数据 管理体系架构;云计算演进：桌面云理解(ND—NC—CCN);云计算架构：通用三层架构(IBM为例，加BPaaS) ;云计算的不同服务层次和内容： ;云计算的应用案例：广州品高IaaS;云计算的统一数据中心;五、知名企业大数据架构;又拍云存储架构;大数据：IBM大数据方案;大数据分析实例：;1.大数据架构：曙光智慧交通系统架构;1.大数据架构：IBM;1.大数据架构：HP云监控大数据解决方案;大数据架构;大数据架构：微软大数据解决方案;大数据平台架构;大数据虚拟化架构：VMWare BDE;大数据虚拟化架构：VMWare BDE;大数据架构;Siri的技术实现架构;大数据;大数据;大数???: 安全架构;六、大数据系统设计案例分析;1. Web数据分析系统的软件验证模型;模型体系与模型转换;分析模型元模型;数据访问层元模型;业务逻辑层元模型;展现层元模型;2. 淘宝大数据架构; 淘宝大数据架构;大数据架构: 淘宝海量数据产品技术架构;大数据架构: 淘宝海量数据,搜索引擎架构;;3.大数据架构设计：智慧城市架构设计;案例分析：;社会大生产无序无控排放是环保死敌;节能减排的难点及瓶颈;电信运营商覆盖全国物联网及云计算体现优势;解决瓶颈问题--其他问题迎刃而解;物联网云计算大数据结合--关键技术途径;用能端能耗分量计量及影响因素感知采集;;能源数据的多维度分析与呈现;总结、交流、作业;小结：;作业：题目: 下图是“车联网”系统，请理解，然后回答问题。;作业：问题;主要参考文献：;心语共勉：学习、工作、生活的本质： ; 谢谢大家！