卢山巍 - 数据虚拟化、敏捷BI与开源平台Moonbox.pdfVIP

数据架构与数据优化沙龙-北京站 数据虚拟化、敏捷BI与开源平台 Moonbox 宜信 · 卢山巍 2018.07.30 1 议题 1. 数据虚拟化、传统BI与敏捷BI 1.1. 数据虚拟化 1.1.1. 什么是数据虚拟化 1.1.2. 数据虚拟化的技术优势和局限 1.2. 传统BI与敏捷BI 1.2.1. 传统BI主流方式及其劣势 1.2.2. 现代BI报告和分析的新形式 1.2.3. 基于数据虚拟化的敏捷BI 2. 数据虚拟化设计考量与Moonbox架构实现 2.1. 数据虚拟化的设计和考量 2.1.1. 数据虚拟化的高阶架构 2.1.2. 数据虚拟化的管理和安全 2.1.3. 数据虚拟化的优化技术 2.2. Moonbox的架构和实现 2.2.1. Moonbox的模块架构 2.2.2. Moonbox的功能特性 2.2.3. Moonbox的核心技术 2.2.4. Moonbox的使用示例 3. 敏捷大数据开源平台与现代数据架构 2 1.1.1. 什么是数据虚拟化 《Designing a Modern Data Warehouse + Data Lake》- Melissa Coates, Solution Architect, BlueGranite “Data virtualization is any approach to data management that allows an application to retrieve and manipulate data without requiring technical details about the data, such as how it is formatted at source, or where it is physically located, and can provide a single customer view (or 3 single view of any other entity) of the overall data.”- /wiki/Data_virtualization 1.1.2. 数据虚拟化的技术优势和局限 数据虚拟化的技术优势 • 统一数据交互语言和服务 ü 提供统一的数据查询和操作的语言 （SQL ）和API ü 提供统一的数据服务接口方式 （JDBC、ODBC、REST API等 ） ü 支持结构化、半结构化、非结构化、流数据、数据服务等数据源 ü 通过封装和屏蔽 ，解耦了数据使用方和数据物理存储 ，最小化数据源影响 • 统一元数据规范和共享 ü 提供统一的元数据获取方式 ü 定义统一的元数据规范并提供一致的元数据标准共享 ü 统一集中的进行数据清洗和转换 • 统一异构数据源集成和计算 ü 支持异构数据源之间混合计算能力 ，无需预先搬运数据 ü 支持基于整体逻辑执行计划的性能优化能力 • 其他方面优势 ü 敏捷灵活的架构开发部署 ü 最新数据的实时访问计算 ü 减少不必要重复的数据存储 ü 提供统一的数据管理、数据质量、数据安全等接口能力 数据虚拟化的局限 • 潜在影响业务库数据源 • 转换逻辑需要按需现算