大数据质量保障探索与实践.pptx

大数据质量保障探索与实践;;01 背景;1.1 数据管理与数据使用的趋势;1.2 DataOps的兴起;1.3 DataOps的定义（续）;02 问题与挑战;;u1、在线分析场景 主要基于“融e慧”体系面向全行数据分析师及数据科学家等业务用户开放“一湖两库”数据资 产及基础数据，提供数据分析挖掘及建模工作端到端全流程线上闭环。涵盖指标加工、数据建模、可视化定制、模型发布等全自助数据分析服务。 u2、敏捷研发场景 总分行科技研发人员，借助“大数据工作站”，在大数据平台上自行开展数据探索、数据加工、单元自测、集成测试等研发工作；并依托行内“VCDS持续交付平台”提供的持续交付能力，实现应用版本的自动构建、自动部署与自动交付。;2.2 工行数据研发现状 - 研发流程及周期;2.3 大数据平台研发测试面临的挑战;03 实践与探索;3.1 总体思路;3.2 DataOps数据研发流水线;3.2 大数据工作站 - 整体架构;3.3 大数据工作站 - 数据理解;;;3.4 大数据工作站 - 数据准备;;;;;3.5 大数据工作站 - 数据研发;;;;;;;;3.6 大数据工作站 - 数据运营;;;4.1 数据研发敏捷化;4.2 数据研发民主化;;;5.1 展望一：提升流水线支撑能力，赋能数据价值快速交付;5.2 展望二：构建智能数据运营，量化数据流通价值;5.3 展望三：推进DevOps、DataOps与MLOps协同融合