【人工智能AI报告】艾瑞咨询：2022年中国大数据分析平台行业研究报告_市场营销策划_元宇宙区块链A.pptxVIP

中国大数据分析平台行业研究报告?2022.12 iResearch Inc.摘要行业界定：大数据分析平台逐渐由产品态转向集成态，行业边界模糊。在技术架构上，主要包含数据采集与存储、计算、分析与决策三个层级。在 OLAP 之上融合了深度学习等技术，在提升数据分析深度和广度的同时，也极大增加了数据服务在业务侧的低门槛和友好性，满足用户运用数据分析驱动业务发展的需求。市场情况：尽管行业边界泛化，市场参与者众多，但按照部署模式、架构分类及能力补给，可分为以下五类：1）以云上数据湖方案为主的公有云厂商；2）以本地化大数据分析平台为主的传统软件服务商；3）提供轻量化数仓架构的数据库/数仓厂商；4）为数据应用层提供服务能力的软件供应商；5）提升数据应用能力的人工智能厂商。行业市场整体呈现竞合状态。架构选型：搭建平台前用户首先需要明确自身的数据体量和业务场景需求。在明确大数据分析平台需要具备的基本功能后，再决定平台搭建过程中使用的大数据处理框架和工具。在分层架构中，数据分析层的组件选型和整体搭建十分关键，尤其是存储引擎的选型直接决定了离线、在线、实时三大场景的支撑和算力效率的高低。趋势洞察：传统架构下的湖仓分体引发数据孤岛，造成实施、运维和成本问题。湖仓一体架构在数据和查询层面形成一体化架构，突破实时性和并发度、集群规模受限、非结构化数据无法整合、建模路径冗长、数据一致性弱等瓶颈。同时，平台融合 AI 自主学习和自适应能力，增强用数人员的分析和决策能力。来源：艾瑞咨询研究院自主研究绘制。/ 2?2022.12 iResearch Inc.大数据分析平台行业概述12大数据分析平台市场分析3大数据分析平台构建建议4行业应用与典型案例实践5大数据分析行业投资分析3行业界定驱动业务的全场景数据分析平台，提供实时、多维的数据分析和智能决策大数据分析平台，是企业用户在大数据环境下用于分析与决策的平台。按技术架构划分，主要包含数据收集与存储、数据 计算、数据分析与决策三个层级。从服务边界来看，大数据分析平台概念小于数据中台，强调平台的数据分析与决策能力，弱化了数据本身的规划、治理与服务；在 OLAP 之上，又融合了深度学习等技术，在提升数据分析深度和广度的同时，也 极大增加了数据服务在业务侧的低门槛和友好性。企业通过构建大数据分析平台，聚拢各业务系统数据，打通全渠道组织 各业务维度，用数据分析驱动业务，满足企业级宽表实时分析、实时 BI 报表分析、用户行为分析、自助分析、 AI 智能分 析等全方位需求。大数据分析平台技术框架及核心组件实时检索用户行为分析用户标签体系运营数据分析实时BI报表分析数据应用层实时分析 离线分析AI分析 深度学习多模分析数据分析与决策层数据计算层数据收集与存储层流计算 批计算企业内部结构化数据 企业内部非结构化数据 企业外部数据来源：艾瑞咨询研究院自主研究及绘制。/ 4?2022.12 iResearch Inc.技术沿革（一）平台技术架构持续更新迭代，由离线处理向实时分析演进基于Hadoop的分析架构数据库结合AP分析引擎架构（以ClickHouse为例）Kafka Logging LibraryMySQLKey-Value datastore批计算报表Hive Spark PrestoNotebooksMySQLPostgreSQLKafka分析应用RedisClickHouse集群原始数据即席查询分析CassandraKafkaHadoopElasticsearch架构剖析数据库结合 AP 分析引擎架构的流程原理：将平台架构引入 TP 引擎结合 AP 引擎实现实时分析平台，各类结构化数据同步至分析引擎后便可进行交互分析。数据库结合 AP 分析引擎架构的优缺点：优点：舍弃了传统离线大数据架构，实现实时批量计算，在 GB到100TB 级别的计算有了很大提升，BI 人员无需等待 T+1的离线计算后得到最终结果，大幅提升数据资产的商业价值。缺点：在处理百 PB 级以上数据时，ClickHouse 架构的扩展能力、复杂场景计算和存储成本相对 Hadoop 方案较弱。架构剖析基于 Hadoop 分析架构的流程原理：各类结构化数据通过采集管道进入 Kafka，Spark 实时消费 Kafka 的数据，写入集群内的 HDFS，RDS 数据库中的数据通过 Spark 每天一次全量扫表同步至 HDFS。HDFS 存储汇总用户数据，对数据库数据定期执行 snapshot。基于 Hadoop 分析架构的优缺点：优点：借助 Hadoop 集群的高并发能力，实现百 TB 到 PB 级 数据的离线计算和处理，同时数据存储在 HDFS 上，存储成本低。缺点：数据定期入库，数据计算的时效性通常是 T+1。来源：艾瑞咨询研究院根据公开资料整理及绘制。来源：艾瑞