大数据体系结构及技术解决方分解.ppt

一、大数据时代的新命题 二、大数据的系统架构 三、大数据的关键技术 数据挖掘的主要方法 分类（Classification） 聚类(Clustering) 相关规则(Association Rule) 回归(Regression) 其他 四、物联网与云计算架构 五、知名企业大数据架构 六、大数据系统设计案例分析 总结、交流、作业 大数据架构 Intel分布式Hadoop架构 大数据架构：微软大数据解决方案 设计了一套基于 Microsoft SQL Server 2012 和 Microsoft Azure HDInsight 的端到端大数据解决方案。在 HDInsight 上快速部署 Hadoop 群集。 大数据平台架构 引跑科技EngineOne平台 大数据虚拟化架构：VMWare BDE vSphere Big Data Extensions （BDE）是VMware基于 Serengeti开源技术的企业发行版，增强基础架构，更好地部署、运行和管理大数据负载，虚拟化应用。 大数据虚拟化（BDE/Serengeti）的部署结构图 大数据虚拟化架构：VMWare BDE Serengeti管理服务器的系统架构图 大数据架构 Netflix基于AWS的大数据平台，不用HDFS而用amazon的S3 (美国最大的在线DVD租赁商，奈飞公司，提供在线影片租赁业务) Siri的技术实现架构 大数据 购物网站的大数据分析系统 大数据 某银联机房 大数据架构 大数据: 安全架构 1. Web数据分析系统的软件验证模型 UML及其扩展机制/QVT Web领域模型转换及代码生成研究 Web领域建模工具原型研发 (基于eclipse-modeling Ecore tools,GMF 的Web领域元建模及建模工具) Web模型转化与代码生成工具原型研发 （基于mediniQVT及 eclipse-modeling operational QVT EMF的模型转化与代码生成工具） 在具体Web系统开发中的应用、验证与比较 Web应用实践 基于MDA的Web领域模型研究 Web领域的CIM模型 （基于Ecore的web领域 需求的元模型) Web领域的PIM模型 （基于Ecore的web领域 独立平台的元模型） Web领域的 PSM模型 Web领域CIM到PIM转换 （基于QVT的 CIM到PIM转换） Web领域PIM到PSM转换 （基于QVT的 CIM到PIM转换） Web领域 PSM到源代码转换 模型到元模型归纳转换技术 模型体系与模型转换 分析模型元模型 数据访问层元模型 业务逻辑层元模型 展现层元模型 2. 淘宝大数据架构 淘宝大数据架构 大数据架构: 淘宝海量数据产品技术架构 按照数据的流向来划分，淘宝的数据产品的技术架构分为五层（自上而下），分别是数据源、计算层、存储层、查询层、产品层。 大数据关键技术到底有哪些？ 核心问题是：(计算、存储、分析)算法 大数据：恐怖的大数据(生活示例) 智能性：数据分析、自然语言理解 逻辑推理(演示) 艺术性：分形算法、视频动画(演示) 大数据关键技术1：大数据存储技术 数据的海量化和快增长特征、以及数据格式的多样化是大数据对存储技术提出的首要挑战。要求底层硬件架构和文件系统在性价比上要大大高于传统技术，并能够弹性扩展存储容量。 谷歌文件系统（GFS）和Hadoop 的分布式文件系统HDFS（Hadoop Distributed File System）奠定了大数据存储技术的基础。GFS/HDFS 将计算和存储节点在物理上结合在一起，从而避免在数据密集计算中易形成的I/O 吞吐量的制约，同时这类分布式存储系统的文件系统也采用了分布式架构，能达到较高的并发访问能力。 网络附着存储系统（NAS）和存储区域网络（SAN）等体系，存储和计算的物理设备分离，它们之间要通过网络接口连接，这导致在进行数据密集型计算（Data Intensive Computing）时I/O 容易成为瓶颈。单机文件系统不提供数据冗余、可扩展性、容错及并发能力差 大数据关键技术2：并行计算能力 大数据的分析挖掘是数据密集型计算，需要巨大的计算能力。 针对不同计算场景发展出特定分布式计算框架。 Yahoo 提出的S4 系统、Twitter 的Storm,谷歌2010 年公布的Dremel系统， MapReduce内存化以提高实时性的Spark 框架. 数据爆炸，知识贫乏 苦恼: 淹没在数据中 ; 不能制定合适的决策! 数据 知识 决策 模式 趋势 事实 关系 模型 关联规则 序列 目标市场 资金分配 贸易选择 在哪儿做广告 销售的地理位置 金融 经济 政府 POS