中国湖仓一体平台市场研究报.docxVIP

目录 摘要 1 湖仓一体架构介绍 2 大数据平台架构进入湖仓一体时代 2 实现湖仓一体的两种路线：湖上建仓和湖仓融合 4 湖上建仓 4 湖仓融合 5 湖仓融合是湖仓一体架构的未来 7 湖仓一体平台软件市场规模 8 湖仓一体平台软件定义 8 中国湖仓一体平台软件市场规模 9 湖仓一体平台软件厂商能力要求 10 湖仓一体平台软件厂商全景图 11 湖仓一体平台软件市场份额 12 代表厂商介绍 14 科杰科技 14 Databricks 15 对湖仓一体厂商的建议 16 重点关注云原生、DataOps 和 Data Fabric 与湖仓一体平台的融合 16 云原生技术能够极大释放湖仓一体平台的价值 16 DataOps、Data Fabric 能够放大湖仓一体平台的应用价值，提升湖仓一体平台的竞争优势 16 重点布局金融，关注制造、交通等潜力行业 17 版权声明 19 关于爱分析 20 研究与咨询服务 21 摘要 为适应数据应用需求，大数据平台架构持续演进，历经数据仓库、数据湖两个阶段。2020 年， 湖仓一体概念提出，湖仓一体架构因能实现数据资产统一管理、降低数据冗余、降低大数据 平台架构运维复杂性，将成为大数据平台的主流架构。 根据爱分析调研，2022 年中国湖仓一体平台软件市场规模 15.2 亿元。其中，科杰科技市场份额占比 11.1%，华为云占比 9.5%，星环科技占比 7.3%。爱分析预测，2025 年，中国湖仓一体平台软件市场规模将达近 100 亿元，2022-2025 年三年复合增长率为 86%。 图表 1 湖仓一体平台软件市场规模及增速 图表 2 2022 年湖仓一体平台软件市场份额占比 湖仓融合作为湖仓一体的先进架构，在 ACID 事务性、存算分离、批流一体、元数据统一管理等方面具有明显优势，未来将成为湖仓一体架构实现的主流技术。 要在竞争激烈的湖仓一体市场取得成功，厂商应当重点关注云原生、湖仓融合、Data Fabric、 DataOps 等能力的构建，以上能力将构成湖仓一体平台软件的技术壁垒。在布局上，需重点布局金融业，同时关注工业、交通等潜力行业。 湖仓一体架构介绍 大数据平台架构进入湖仓一体时代 随着数据量级持续扩展，数据类型多元化，以及数字化转型深入企业数据应用场景变得日益 复杂，业务对于数据实时性的要求需要企业兼具批处理、流处理能力；复杂的业务类型又需要企 业同时具备描述性分析、预测性分析、诊断决策性分析以及探索性分析等能力。相较数据仓库、 数据湖，湖仓一体更能完全满足数字化转型企业对大数据平台的各种需求。这也预示着大数据平 台架构历经数据仓库、数据湖两个阶段后，正式进入湖仓一体新时代。 图表 3 大数据架构演进驱动因素 企业数据分析需求推动数据仓库出现 世纪 90 年代，为满足企业敏捷数据分析需求，基于联机分析处理（OLAP）的数据仓库概念开始出现并迅速发展。数据仓库能解决分散数据源的集成、分析问题并作为第一代数据分析 平台开始被大范围使用。 图表 4 数据仓库示意图 海量异构数据的分析需求促使大数据平台进入数据湖阶段 世纪互联网时代，社交媒体、搜索引擎等新应用层出不穷，为数据应用场景带来剧烈变 化，数据体量从 GB 级提升至 TB 和 PB 级，原有大数据平台架构的可扩展性远远无法满足计算需求。同时文本、图像、语音等非结构化数据量急剧增长，异构数据低成本存储对大数据平台提出 了新的挑战。数据湖以极低成本实现任意格式数据的统一存储、管理和分析，尤其适用于数据挖 掘、预测、推荐等高级分析场景等优势开始被广泛应用。 图表 5 数据湖示意图 数字化转型时代，数据资产统一管理和共享服务推动湖仓一体发展 在实践中，数据湖本身具有明显的局限性，如数据湖对 SQL 标准、ACID 特性的支持较差，数据质量难以保证，数据版本控制和索引功能也不足，难以完成批处理和流式作业融合，致使数 据湖难以完全取代数据仓库，敏捷分析类的企业级应用场景仍然是以数据仓库为主。 数字化转型时代，企业需要采用新的架构实现海量异构数据的低成本存储和高效分析的同时 实现数据资产统一管理和共享服务。 为兼具数据湖低成本存储、数据仓库高效分析的特性，企业尝试通过松耦合的方式分别承建 数据仓库和数据湖。数据湖集中存储所有数据，数据仓库主要存储结构化数据。此种架构下，数 据需要在两套架构间多次备份，产生数据孤岛、存储冗余、开发维护困难、数据响应周期长等问 题。 2020 年，Databricks 首先提出“湖仓一体”的概念，湖仓一体是一种结合了数据湖和数据仓库优势的新范式。同期，国内技术厂商开始探索湖仓一体实践。本报告中，湖仓一体是指结合