222 作业帮基于Apache Doris的数仓实践.docxVIP

作业帮基于Apache Doris的数仓实践 数据仓库与Python大数据 2021-12-04 以下文章来源于DorisDB ，作者糜利敏 HYPERLINK DorisDB . StarRocks是新一代极速全场景MPP数据库。它接受新一代的弹性MPP架构，可以高效支持海量数据的多维分析、实时分析、高并发分析等多种数据分析场景。StarRocks 功能杰出，它接受了全面对量化技术，比同类产品平均快3-5倍。 热文推举： 回顾 | 阿里数据大陆与台湾建模 共享嘉宾：糜利敏（作业帮大数据工程师） 编辑整理：?柠檬妹 出品平台：数据仓库与Python大数据 注释 1?背景 作业帮大数据团队次要担任建设公司级数仓，向公司各个重要产品线（拉新、教学、BI等）供应面对业务的数据信息，如到课时长、答题情况等。在过去半年多时间内，我们基于Apache Doris，构建了数仓实时查询系统。本文总结并共享下期间的工作内容，也欢迎大家一起争辩。 典型的数仓从规律上划分为下图所示的几个部分。 大数据团队次要担任到ODS-DWS的建设，从DWS到ADS一般是数仓系统和业务线系统的边界。 在过去，由于缺失统一的查询系统，我们探究了很多模式来支持各个业务线进展。 非流量类： Kafka 。业务线从Kafka接数据本人做数据的聚合计算。次要问题在于完全没有数仓的概念，业务线在做大量反复的建