张佃鹏-网易有数 BI 体系的建设和实践-张佃鹏-终版 - IOTE 2021国际物联网展大会.pdfVIP

网易有数 BI 体系的建设和实践 网易有数 张佃鹏 01. 网易有数 BI 是什么 ？ 02. BI 背后的数据查询与处理技术 03. 基于图形语法的图表推导技术 目录 04. 性能保障体系建设 05. 商业化解决方案的积累 06. 增强数据分析领域的探索 07. 总结 01 网易有数 BI 是什么 ？ 01. 网易有数 BI 是什么 ？  可视化的数据分析工具  强大的数据建模和处理能力  敏捷 ：技术部门主导 - 业务部门主导  易用 ：拖拽式、ppt 式  商业模式 ：私有化 + SaaS 01. 网易有数 BI 是什么 ？ 产品架构 01. 网易有数 BI 是什么 ？ 前端绘图层 后端业务层 有数 BI 技术架构图 数据引擎层 外部数据源 02 BI 背后的数据查询和处理技术 02. BI 背后的数据查询和处理技术 图表的数据查询流程  所有操作都可以转换成 Query DSL  屏蔽数据源差异  新增一种数据源只需要新增一种语法适配 02. BI 背后的数据查询和处理技术 图表数据查询的核心 图表的可视化操作 数据字段的行为处理 一切皆语法树 原始字段 排序、筛选、聚合、 计算字段 数据字典 上卷下钻、图表联动、 分组字段 AST 图表跳转、行列权限…… 数据桶 …… 02. BI 背后的数据查询和处理技术 Query DSL - SQL  语法树生成和优化  SQL 的生成和优化  内存计算  LOD （跨视图粒度分析计算 ） 02. BI 背后的数据查询和处理技术 数据的准备和加速  支持跨源查询  自助式 ETL 操作  稳定的高性能数据传输  轻量化数仓 ，查询加速 02. BI 背后的数据查询和处理技术 数据查询遇到过哪些问题 ？ 数据查询 数据源 数据源如何 数据源版本 高峰 故障和问题