湖仓一体技术与产业研究报告.pdfVIP

湖仓一体技术与产业 研究报告 (2023 年) CCSA TC601 大数据技术标准推进委员会 2023年6月 版权声明 本报告版权属于 CCSA TC601 大数据技术标准推进委 员会，并受法律保护。转载、摘编或利用其它方式使用本报 告文字或者观点的，应注明“来源：CCSA TC601 大数据技 术标准推进委员会”。违反上述声明者，本院将追究其相关法 律责任。 编制说明 本报告的撰写得到了大数据领域多家企业与专家的支持和帮助， 主要参与单位与人员如下。 参编单位：大数据技术标准推进委员会、中国移动通信集团山东 有限公司、威海市商业银行、阿里云计算有限公司、腾讯云计算（北 京）有限责任公司、华为云计算有限公司、北京镜舟科技有限公司、 北京飞轮数据科技有限公司、科大讯飞股份有限公司、中兴通讯股份 有限公司、天津南大通用数据技术股份有限公司、杭州数梦工场科技 有限公司、杭州比智科技有限公司、北京数势云创科技有限公司、浙 江数新网络有限公司、北京百度网讯科技有限公司、北京滴普科技有 限公司、北京科杰科技有限公司、北京偶数科技有限公司。 参编人员：魏凯、姜春宇、闫树、马鹏玮、田稼丰、刘彦美、朱 祥磊、高鹏、魏冲、刘一鸣、孔亮、林楠、王宁、崔潇扬、杨勇强、 汪定新、王涵毅、白雪、赵峰、汤雅琴、伍攀、陈关良、赵青柏、谢 辉、高经郡、张立群。 前 言 数据平台是能够为企业提供数据分析能力、支撑上层数据应用、 助力企业数字化转型的底层基础设施，它包含数据存储、数据计算分 析等能力的一套基础设施，通过汇聚各方数据，提供“采-存-算-管-用” 全生命周期的软件支撑。经过数十年的发展，数据平台架构持续演进， 主要经历了数据库、数据仓库、数据湖三个阶段。 如今，数据仓库和数据湖是数据平台最广泛的两种架构：数据仓 库具备规范性，可针对结构化数据进行集中式的存储和计算，但无法 处理半结构化与非结构化数据，且其扩展能力有一定局限性；数据湖 具有更好的扩展能力，能够灵活支持对于多种类型数据的高效取用， 但不支持事务处理，缺乏一致性、隔离性，数据质量难以保障。数据 仓库和数据湖是两套相对独立的体系，各有优劣势，无法相互替代。 为满足多种数据类型存储、多场景分析等业务诉求，企业采用数 据湖+数据仓库混合架构。“数据湖+数据仓库”混合架构满足了结构 化、半结构化、非结构化数据高效处理需求，解决了传统数据仓库在 海量数据下加载慢、数据查询效率低、难以融合多种异构数据源进行 分析的问题，但也存在混合架构复杂，开发运维难度大、成本高，数 据处理链路长时效低等问题。 湖仓一体是指融合数据湖与数据仓库的优势，形成一体化、开放 式数据处理平台的技术。通过湖仓一体技术，可使得数据处理平台底 层支持多数据类型统一存储，实现数据在数据湖、数据仓库之间无缝 调度和管理，并使得上层通过统一接口进行访问查询和分析。 自2021 年“湖仓一体”首次写入 Gartner 数据管理领域成熟度 模型报告以来，随着企业数字化转型的不断深入，“湖仓一体”作为 新型的技术受到了前所未有的关注，越来越多的企业视“湖仓一体” 为数字化转型的重要基础设施。湖仓一体平台的建设解决了流批一体 面临的原子事务、一致性更新以及元数据性能瓶颈等问题，使得湖仓 一体平台的构建既能满足短期业务发展的需要，又能支撑长期的数据 应用诉求。 为给社会各界深入了解湖仓一体技术与产业提供有价值的参考。 本报告聚焦于湖仓一体技术，详细梳理了数据平台发展历程、湖仓一 体实践路径，研究分析了湖仓一体产业现状，并对湖仓一体未来发展 进行了展望与研判。由于时间仓促，水平所限，错误和不足之处在所 难免 ，欢迎各位读者批评指正，意见建议请发送至 liuyanmei@ 。 目 录 一、湖仓一体是数据平台发展的重要趋势 1 （一）数据平台的发展历程 1 （二）数据湖、数据仓库特性分析3