基于MaxCompute的大数据BI分析.pdf

基于MaxCompute的大数据BI分析 技术创新，变革未来 场景描述 在互联网、电商及游戏等行业通常需要对海量数据做快速实时分析，本方案阐述如何将业务数据和日志数据快速汇总到ADB后再通过QuickBI等 工具进行可视化分析和展示。 特别是对于数据化建设中后期的公司，数据结构复杂、数据量巨大、ETL功能复杂的情况，使用MaxCompute可以进行复杂ETL数据开发和加 工，再进入ADB和QuickBI进行快速分析和可视化展示。 适用场景  互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景  可扩展到各类网站BI分析场景使用 行业标签 ：通用、互联网、电商、游戏等 产品标签：BI数据分析、日志服务、ADB、MaxCpompute、ECS、RDS等 实现架构-MaxCompute/ETL/ADB 架构说明 ✓ 公司在数据化建设中后期，数据结构非 常复杂，数据量非常大，大量数据需要 先进行ETL。 ✓ 使用数据集成把RDS和日志数据同步到 MaxCompute进行ETL，再写入ADB。 ✓ 使用Qucik BI进行分析，分析业务数 据，建立用户画像等 MaxCompute产品介绍 MaxCompute向用户提供了丰富的大数据开发工具、完善的数据导入导出方案以及多种经典的分布式计算 模型。能够最快速地解决用户海量数据计算问题，有效降低企业大数据计算平台的总体拥有成本，提高大 数据应用开发效率，并保障数据在云计算环境的安全。 产品特点 产品架构 ▪云原生服务架构： ▪全托管的Serverless、多租户模式，作业级别的自动弹性伸缩，免平台运维及配置调优 MaxCompute生态工具(Dataworks、Studio、QuickBI、3rd Party工具) 势。 ▪支持按作业付费、预占计算资源付费、打包套餐等多种付费方案，满足最灵活的客户购 MaxCompute 买需求。 ▪多功能： SQL MR 图计算 Spark 交互式 ▪提供SQL/MR/Spark/机器学习/图计算等多种计算能力，避免为计算而搬数据。 New SQL Java Python ▪高性能计算引擎： ▪随着数据规模的增加，性能线性增长，超越竞品的性能优势。 MaxCompute Engine(通用并行计算框架) ▪安全的数据平台： Fuxi(资源管理及任务调度) 全局元数据 ▪原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行，支持 ACL+Policy+Label细粒度授权，支持数据KMS加密，支持行为审计 (即将发布)。