微软大数据平台架构及解决方案介绍psg_v1038.pptVIP

大数据平台架构及解决方案介绍 邓英达 数据平台工程师 大数据可以为政府做些什么？ 第一部分：大数据技术基础 第二部分：微软的完整解决方案 第三部分：Big Data本地部署方案 第四部分：Big Data云端部署方案 第五部分：前端数据展现 第六部分：案例与总结 内容 用户预期 大量数据 多种数据类型 实时数据创建 大数据推动我们到达临界点 经济的硬件与存储 如何建设 – Data Portal模式？ 整体解决方案 系统成本 构建“大数据” 解决方案 前端报表和分析 商业化程度和多厂家协调 高成本 需大量 培训学习 功能与易用性的平衡 “大数据”方案选择有限? 大数据平台的建设困难 业务需求 简化信息搜索和采集，适应各种数据源，都能促成数据集成 人们应当获得强大熟悉的工具，这样 BI 才能更有吸引力，更能推广 IT 应当提供完整的大数据平台，跨越云端与本地部署，支持集成不同的数据类型 微软的观点 技术让人快速获得洞察力并据此展开操作 第一部分：大数据技术基础 第二部分：微软的完整解决方案 第三部分：Big Data本地部署方案 第四部分：Big Data云端部署方案 第五部分：前端数据展现 第六部分：案例与总结 内容 Big Data解决方案逻辑架构 数据管理与处理 数据富集与联合查询 BI 与分析 单一查询模型 提取、转换、加载 数据质量 主数据管理 数据管理与处理 微软的Big Data解决方案架构 数据的丰富与联合查询 BI 与分析 单一查询模型 提取、转换、加载 数据质量 主数据管理 APS (分析平台系统) SQL Server 2014 Microsoft Azure HDInsight 基础结构 数据管理与处理 数据富集与联合查询 BI 与分析 微软Big Data解决方案架构 全部显示 全部关闭 Microsoft Azure 自由选择的部署选择或混合解决方案 SQL Server Hortonworks 数据平台 APS 分析平台系统 在微软 Azure 虚拟机中运行 SQL Server 实现数据仓库 HDInsight for Microsoft Azure SQL Server Fast Track HDP 2.0 优化的行列格式（ORC）可将压缩率提升 80% 微软对 Hadoop 的贡献 为微软 Azure 存储贡献了 FileSystem 实施 Hive （通过 Stinger 提速 40 倍） 贡献超过 25,000 行代码 HDFS 权限模型可映射至 Windows 利用 REEF 创建并执行机器学习作业 6,000+ 小时的开发工作 Windows，最适合 Hadoop 的操作系统 9 第一部分：大数据技术基础 第二部分：微软的完整解决方案 第三部分：Big Data本地部署方案 第四部分：Big Data云端部署方案 第五部分：前端数据展现 第六部分：案例与总结 内容 关于APS分析平台系统 预配置的软硬件一体机 海量并行处理（MPP），可扩展至 6PB 内存列存储可提速 100 倍 Hadoop 的专属区域 将关系型与 Hadoop 数据联合在一起的集成式查询模型 通过 Infiniband 网络可实现更快速数据移动 与 Active Directory 集成，获得更高安全性 使用 System Center 进行管理 本地环境、一体机 关于适用于 Windows 的 Hortonworks 数据平台 充分结合 Hortonworks 与微软的工作成果 100% 开源的 Apache Hadoop 支持最新版 Hadoop (2.2) YARN Stinger Phase 2（查询速度更快） Windows Server 唯一可用的发行版 利用现有 .NET 与 Java 技能编写 MapReduce 利用熟悉的 BI 工具，包括微软 Excel 进行分析 本地环境，自助部署（Hadoop） 内存中提速 用列格式存储数据，实现大幅压缩 通过内存访问数据，获得下一代性能 利用各种不同规格的现有硬件 可更新，可群集，实现实时涓流加载 提速高达 100 倍，10 倍压缩率 通过内存列存储技术获得下一代性能 并发且混合式的工作负载 大规模并行处理（MPP）并行查询 处理大规模复杂查询与并发查询 通过数据实时获得洞察力 同时运行多种类型的工作负载 大幅提升查询性能 改善混合工作负载的性能 近乎实时的洞察力 通过大事件流进行 Sub-zero 处理降低延迟 通过历史数据挖掘持续获得洞察力 简化管理，灵活部署 实时洞察力 实时复杂事件处理 集成关系型数据与 Hadoop 通过现有 T –SQL 技能查询 Hadoop 并行查询关系型与Hadoop数据 单一查询 混合：在本地与云端部署Hadoo