2019年云计算大数据关键技术与应用.pptVIP

云计算大数据关键技术与应用 目 录 云计算大数据技术架构 虚拟化技术 1 2 分布式数据处理技术 海量数据存储技术 3 4 大数据技术应用实例 5 云计算运营两大阵营 云计算产品的生态系统 4 基础硬件层 虚拟化软件 存储软件 Swift 网络软件 虚拟化和 基础软件层 Glance 基础架构及服务层 应用层 商用软件 开源软件 虚拟桌面 海量数据处理 大数据分析面临的主要技术问题 需要提供一个高效稳定的存储和计算引擎 如何支撑1万、10万台以上的机群规模？ 多集群架构，运维和管理系统 如何在一个平台上支持多个组织的多个用户进行开发？ 多租户支持，安全隔离，权限控制 如何了解业务运行状态？ 元数据管理，指标系统 如何管理不同种类的任务？ 服务化，统一计算入口，可度量和控制的计算资源 快速查询，精准搜索，智能分析… 云计算技术用于处理大数据 High performance –高并发读写 高并发、实时动态获取和更新数据 Huge Storage –海量数据的高效率存储访问和智能分析 类似SNS网站，海量用户信息的高效率实时存储和查询 High Scalability High Availability –高可扩展性和高可用性 需要拥有快速横向扩展能力、提供7*24小时不间断服务 阿里大数据状况 淘宝主站（2011年）： 30亿店铺、宝贝浏览 10亿计的在线宝贝数 千万量级交易笔数 数据产品（2011年） ： 50G统计汇总结果 千万量级数据查询请求 平均20.8ms的响应时间 数据来源：阿里相关技术介绍ppt 阿里技术架构总览 数据来源：阿里相关技术介绍ppt 腾讯大数据状况 数据来源：2012-12-1赵伟 《HIVE在腾讯分布式数据仓库实践分享》 腾讯技术架构 数据来源：2012-12-1赵伟 《HIVE在腾讯分布式数据仓库实践分享》 百度大数据状况 数据来源： 2011年百度云计算总工程师林仕鼎讲座《百度云计算总体介绍》 数据来源： 2012.10 百度杨毅讲座《百度的下一代计算系统》 百度技术架构 数据来源： 2011年百度云计算总工程师林仕鼎讲座《百度云计算总体介绍》 大数据应用 机器学习 分布式文件系统 海量数据存储 大规模计算 智能分析 大数据技术架构-模型 分布式并行计算系统 数据挖掘 语义搜索 …… 分布式文件系统 海量数据存储 大规模计算 智能分析算法 大数据技术架构-典型开源实现 目 录 云计算大数据技术架构 虚拟化技术 1 2 分布式数据处理技术 海量数据存储技术 3 4 大数据技术应用实例 大数据技术应用实例 5 6 虚拟化技术 通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式 虚拟化软件实现对硬件的抽象，资源的分配、调度和管理，虚拟机与宿主操作系统及多个虚拟机间的隔离等功能，目前典型的实现（基本成为事实标准）有: Citrix Xen VMware ESX Server Microsoft Hype-V Redhat KVM 网络虚拟化 存储虚拟化 桌面虚拟化 计算虚拟化 计算虚拟化技术 硬件虚拟化 (Hypervisors) 虚拟硬件访问 创建多个虚拟硬件实例 宿主操作系统及每个Guest必须为完整操作系统 VMware ESXi, Microsoft Hyper-V 操作系统虚拟化 (Containers) 虚拟操作系统访问 创建多个虚拟操作系统实例 物理服务器拥有单个、标准的OS 内核 VMware workstation，Sun Solaris Containers, OpenVZ 网络虚拟化：软件定义网络SDN（Software Defined Network） SDN是一种新兴的控制与转发分离并直接可编程的网络架构 传统网络设备紧耦合的网络架构被拆分成应用、控制、转发三层分离的架构。控制功能被转移到了服务器上，上层应用、底层转发设施被抽象成多了逻辑实体 网络虚拟化-VxLan实现虚拟机的跨网络迁移 虚拟可扩展VLAN（Virtual Extensible VLAN，VXLAN）标准将创建一个逻辑网络（或扩展VLAN），支持地理分散的数据中心之间实现远距离虚拟机（VM）迁移。VXLAN最终会实现多租户云网络所需要的远距离分割支持 思科与VMware已经合作将VXLAN标准整合到产品中，但是这个由思科、VMware、Arista网络、Broadcom公司、Citrix系统和红帽等公司共同制定的VXLAN草案仍然有待互联网工程工作小组（IETF）标准化。 云计算基础设施管理技术 云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系统