大数据治理（高级） 课件 西财 第1篇：概论篇.pptx

1

第1章大数据治理概论2

大数据治理背景1大数据治理相关概念2大数据治理的框架3大数据治理的原则4大数据治理的方法5目录

学习目标掌握大数据治理的概念掌握大数据治理的框架掌握大数据治理的主要方法4

政府需求岷山集团需求数据治理背景1.1数据爆炸式增长管理深度信息化：企业建设信息化系统来提高管理效率、降低管理成本。各式各样的企业信息化管理系统，例如：客户关系管理系统、核算系统、预算系统、供应商管理系统、金税系统、报表系统、销售系统、采购系统等。如此繁多的信息化管理系统，会导致数据量日益剧增，如何组织、管理、应用爆炸式增加数据成为了关注的焦点。拥抱转型、业务创新：以信息技术为代表的技术革命从根本上改变着我们的社会经济生活。社会形态已由工业社会发展为信息社会，传统的农业经济、工业经济正在被知识经济逐渐取代。在新境界的浪潮中，企业面临的竞争环境也发生了巨大变化，促使企业尽快进行发展模式、管理模式、商业模式的升级转型。技术创新与发展：随着大数据时代的发展，技术不断更新迭代，数据处理速度也在不断的提升。主要技术内容包括：数据采集技术、数据清洗技术、数据安全技术、数据建模技术、数据加速计算技术、元数据管理技术、数据生命周期管理技术。数据资产价值驱动：数据是一种未经加工的原始资料，是对客观事物的逻辑归纳。用符号、字母等方式对客观事物进行直观描述。数据经过解释并赋予一定的意义之后，便成为了信息；数据是一种资产，对于组织具有价值，因此需要妥善保护、利用，从而为企业带来经济利益的流入。数据资产是有企业拥有和控制。能够为企业带来未来经济利益的信息资源。具有以下基本特性：共享性、增值性、实效性、低安全性。其价值主要体现在以下几方面。数据资产是一种企业生产经营活动的经济资源；数据资产是支持企业发展战略的重要资源；数据资产是现代化企业最大的价值来源。

政府需求岷山集团需求大数据治理相关概念1.2大数据咨询公司Gartner认为：大数据是指需要借助新的处理模式才能拥有更强的决策力、洞察发现力和流程优化能力的具有海量、多样化和高增长率等特点的信息资产。麦肯锡认为：大数据是指在一定时间内无法用传统数据库软件工具采集、存储、管理和分析其内容的数据集合。国际数据公司IDC认为：大数据一般会涉及两种或两种以上的数据形式。它要收集超过100TB的数据，并且是高速、实时的数据流，或者是从小数据开始，但数据量每年会增长60%以上。维基百科的定义是：大数据指的是需要处理的资料量规模巨大，无法在合理时间内，通过当前主流的软件工具撷取、管理、处理并整理的资料，它成为帮助企业经营决策的资讯。特性：4V，体量(Volume)、速度(Velocity)、多样性(Variety)、价值(Value)。

政府需求岷山集团需求大数据治理相关概念1.2大数据治理IBM认为，数据治理是根据企业的数据管控政策，利用组织人员、流程和技术的相互协作，使企业能将“数据作为资产”（dataasenterpriseasset）来管理和应用。根据伯森（Berson）和杜波夫（Dubov）的定义，数据治理是一个关注于管理信息的质量（Quality）、一致性（Consistency）、可用性（Usability）、安全性（Security）和可得性（Availability）的过程。这个过程与数据的拥有（Ownership）和管理职责（Stewardship）紧密相关。国际数据管理协会（DAMA）给出的定义：数据治理是对数据资产管理行使权力和控制的活动集合（规划、监控和执行）。ReneAbraham等在2019年发表的论文中提出：大数据治理是一个跨功能框架，把数据作为组织、企业或者国家的战略资产进行管理。综合上述定义，可以认为，大数据治理，是把大数据作为组织、企业或者国家的战略资产进行管理，以及在管理流程中进行分析、控制和决策的活动集合。

政府需求岷山集团需求大数据治理相关概念1.2数据仓库数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。数据仓库是以关系数据库、并行处理和分布式技术为基础的信息新技术。特点：面向主题：数据仓库围绕一些重要主题，如顾客、供应商、产品和销售组织。数据仓库关注决策者的数据建模与分析，不是单位的日常操作和事务处理。因此，数据仓库通常排除对于决策无用的数据，提供特定主题的简明视图。集成：通常，构造数据仓库是将多个异构数据源，如关系数据库、一般文件和联机事务处理记录集成在一起。使用数据清理和数据集成技术，确保命名约定、编码结构、属性度量等的一致性。时变：数据存储从历史的角度（例如，过去5-10年）提供信息。数据仓库中的关键结构都隐式或显式地包含时间元素。非易失：数据仓库总是物理地分离存放数据，这些数