数据治理平台设计与技术选型方法v2.0.pptx

大数据平台设计方案 2023数据治理平台发展趋势分析业界标杆选择国外标杆分析国内标杆分析趋势分析总结数据治理平台能力要求分析数据治理平台能力框架各组件功能需求数据治理平台选型原则和方法IT选型原则IT选型方法筛选长名单方法筛选短名单方法软件包最终选型方法 数据治理平台发展趋势分析业界标杆选择国外标杆分析国内标杆分析趋势分析总结1业界标杆选择标杆选择说明：从国内行业地位、国际综合实力、国内综合实力以及实践案例丰富等综合因素，挑选了国内外标杆企业。 国外知名公司：连续多年被 Gartner 评为全球数据管理领导者，所以选为国外的标杆来进行分析。 国内某大厂：2020年被Frost Radar 评为国内综合实力领先的头部企业 ，所以选为国内的标杆来进行分析。特别声明：选择这两家作为标杆来分析，只是作为代表，并不意味着它们最强，国内外还有很多优秀的平台。国际综合实力领先行业地位领先厂商行业地位领先国内综合实力领先国际综合实力领先实践案例国内某大厂自身实践政务领域能源领域交通领域国外知名公司金融领域电信领域政府领域… …考虑因素数据治理实践案例国内综合实力领先业界标杆（国外）— 国外某知名公司 特点：产品成熟度高，组件之间耦合度低，每个组件均可单独部署；是全球数据管理领域领导者。功能分析：完善的数据质量管理能力：从业务规则定义、执行、度量、监测、报告等，囊括了全过程严密的数据安全保障能力：提供分级分类权限控制，隐私数据访问策略，采用动态脱敏技术极强的元数据管理能力：全自动多源异构的元数据采集，字段级的血缘分析、影响分析全程可视化开发工具链：图形界面、操作简单，分散在各个模块数据探查功能：发现和记录数据中的问题；将问题进行分类（完整性、遵从性、一致性、准确性、唯一性、依赖性）强大的数据采集能力：支持多格式、多数据源数据采集分析总结：自动化：元数据采集，质量报告生成，数据清洗模型生成、数据探查等全自动化。可视化：质量报告、过程监控、数据开发、血缘分析等均提供可视化功能，元数据可视化，提升用户体验安全性：采用先进的动态脱敏技术，隐私数据的访问控制严谨，防止数据泄露标准化：支持CWM元数据标准，正在国际化，组件间提供标准接口，易集成云化：所有组件均可在云平台上部署扩展性：各个组件，水平扩展能力强 Data Exchange（数据服务）统一的交易数据视图统一的主数据视图可信数据同步到下游Data Explorer（数据探查）Metadata Manager（元数据管理）Data Archive 数据归档元数据采集元数据查询检索血缘分析探查数据内容主数据归档元数据管理影响分析元数据维护探查数据结构Data Security（数据安全）发现记录数据问题动态 数据脱敏分级分类权限控制隐私数据访问控制参考数据归档Data Quality（数据质量）Master Data Managemen（主数据管理）数据质量度量标准模型管理数据质量报告合并管理交易数据归档数据质量业务规则重复识别数据质量监测数据关联数据资产目录管理数据质量评估数据全生命周期管控 Data Integration（数据采集）批量数据采集准实时数据采集流数据采集特点：在国内综合能力较强，包括数据治理生态建设方面；在能源、交通、政务领域有着丰富的实践，尤其是自身经历过数据治理，相关产品能力得到全面检验功能分析：一站式数据运营平台：贯穿数据全流程的一站式治理运营平台，提供全域数据集成、标准规范设计、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等，帮助企业构建完整的数据中台方案。丰富的数据开发类型：支持多人在线协作开发，脚本开发可支持SQL、Shell在线编辑、实时查询；作业开发可支持SQL、MRS、Shell、MLS、Spark等多种数据处理节点。统一数据资产管理：全局资产视图、快速查看、智能管理、数据溯源和数据开放共享，统一管理资产访问权限。报表分析数据运营自助式分析数据可视化分析总结：自动化：元数据自动采集和同步；数据自动集成，质量报告自动生成。灵活性：对于复杂的应用场景，可以利用数据开发功能来完成数据建模、数据集成、脚本开发、工作流编排等操作，能灵活应对数据处理的复杂场景。安全性：基于角色访问控制，租户隔离，保证数据的隐私合规、可审计、可回溯。组件化：各个组件之间耦合度低，每个组件可单独部署，易与第三方组件集成。产品化：所有组件均成熟产品支持，定制化开发极少数据分析标签画像标签服务标签创建标签管理群体分析全景画像统一管控统一认证数据服务开发指标数据服务数据服务生成与发布数据服务数据服务运营统一用户主/基础数据服务数据服务订阅与使用统一服务目录数据资产元数据管理元数据管理数据搜索数据获取数据安全统一API网关统一消息数据质量数据质量度量数据质量报告数据质量持续改进