大数据应用基础（微课版）_课件 项目六 浪潮可视化大数据工具应用 实训一 数据整理（DMP）.pptx

大数据应用基础 信息学院 浪潮可视化大数据工具应用 06 （一）数据管理平台DMP 一、浪潮大数据分析产品架构 1、浪潮集团简介 浪潮集团（简称浪潮）是我国领先的云计算、大数据服务商，旗下拥有浪潮信息、浪潮软件、浪潮国际3家上市公司，业务涵盖云数据中心、云服务大数据、智慧城市、智慧企业四大产业群组，具备IaaS、PaaS、DaaS、SaaS这4个层面的整体解决方案服务能力。 凭借浪潮高端服务器、海量存储、云操作系统、信息安全技术打造领先的云计算基础架构平台。全面支撑政府、企业和行业云建设，已为全球一百二十多个国家和地区提供IT产品和服务。（课程思政点） 一、浪潮大数据分析产品架构 2、浪潮大数据分析产品 浪潮提出以数据为核心、应用为导向、ABC（即人工智能、大数据、云计算）技术为支撑，构建企业智慧大脑的解决方案，通过实时、持续处理企业海量异构数据，提取关键信息辅助各级管理者智能决策，根据规则驱动ERP（Enterprise Resource Planning，企业资源计划）等系统自动启动业务流程，帮助企业实现自动化、智能化升级。 一、浪潮大数据分析产品架构 浪潮大数据分析产品分为Data Management Platform，DMP（数据管理平台）与Business Analysis，BA（商业分析产品）两个部分，DMP重点关注数据的采集与整理，BA重点关注数据的分析与应用，二者合力协助企业提升“采、存、管、算、用”五大核心数据能力，构建企业的数据资源、云平台、数据采集、数据存储、数据计算、数据挖掘、数据运营、数据运用、数据治理、数据安全等平台。 二、数据管理平台（DMP） 1、DMP简介 浪潮数据管理平台（DMP）是支撑企业数仓建设和数据管理的工具，具有智能、敏捷、高效、协同等特点，拥有数据源、数据加工厂、数据质量管理、数据标准管理、数据服务管理、数据服务共享等模块，可实现对数据全生命周期的管理。 二、数据管理平台（DMP） DMP 基础层 底层框架技术，通过聚数模块、任务调度、权限控制、安全管理等，为数据仓库模型和ETL设计提供组件化服务和计算引擎。 数据源管理 实现各类数据源的实体表、代码表、存储过程、函数、视图等对象的管理和检查，预置多种数据源检查规则，能够实现数据源在线监管，随时掌握数据源的变化。 数据加工厂 预置数据仓库分层结构和模型，提供丰富的ETL组件，实现数据仓库的快速搭建，解决数据仓库建设难、维护难等问题。 数据服务管理 提供数据标准服务、数据模型服务、数据质量服务、数据资源服务、数据分析服务和数据挖掘服务等，为客户提供完备的数据服务。 数据报送 为下属企业提供数据报送通道，通过与数据采集交换、数据共享交换功能的配合完成数据报送。 数据采集交换 企业中有大量的数据采集交换的需求，特别是集团性企业，通过数据采集交换平台，企业能够定义数据采集节点、数据采集目录、采集任务，进而对下属单位的数据进行采集。 数据共享交换 对企业所拥有的数据进行标签化和目录化管理，形成可以共享交换的数据资源，进而进行数据共享，能够支撑国有资产监督管理委员会、委管企业、集团性企业完成数据的共享交换。 数据标准 数据标准模块为企业提供数据标准落地的能力，将企业数据标准形成技术标准，为数据中心、应用系统提供数据标准依据。 1、DMP简介 二、数据管理平台（DMP） 2、数据加工厂——工厂分层 工厂分层提供了对数据加工厂各层的分层定义，具备各层的维护、模型管理、ETL过程搭建等功能。根据数据仓库建设的标准化，工厂分层分为ODS操作数据、DW数据仓库、DM数据集市3层，。 二、数据管理平台（DMP） DB（Database，数据库）是现有的数据来源，可以为MySQL、SQL Server、文件日志等，为数据仓库提供数据,一般存在于现有的业务系统之中。 ODS(Operational Data Store，操作型数据仓储) 作为数据库到数据仓库的一种过渡，其数据结构一般与数据来源保持一致，便于减少ETL的工作复杂性。ODS的数据周期一般比较短。 DM(Data Mart，数据集市)为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据。其主要面向应用。 DW(Data Warehouse，数据仓库)是一个很大的数据存储集合，出于企业的分析报告和决策支持目的而创建，用于对多样的业务数据进行筛选与整合。它可为企业提供一定的BI能力，指导业务流程改进，监视时间、成本、质量以及控制。 ETL是指将数据从来源端经过抽取、转换、加载至目的端的过程。 二、数据管理平台（DMP） 主题域是数据仓库中核心的内容，通常是联系较为紧密的数据主题的集合。可以根据业务的关注点，将这些数据主题划分到不同的主题域。主题域的确定必须由最终