第3章 数据管理教学资料-.pptxVIP

新一代信息技术教材导教班大数据管理王建民清华大学软件学院大数据系统软件国家工程实验室2018.7 北京3421数据管理概述关系数据库分布式文件系统新型数据管理与查询系统PART 1数据管理概述 本章重点介绍数据存储与管理技术的概念与发展过程，选择经典的关系数据库技术以及大数据时代的分布式文件系统技术、NoSQL与Sql on Hadoop技术新型大数据存储与查询技术进行介绍。数据管理的内涵数据管理技术 数据管理技术是指对数据进行分类、编码、存储、索引和查询，是大数据处理流程中的关键技术，负责数据从落地存储（写）到查询检索（读）的核心系统。数据管理技术从最早人们使用文件管理数据，到数据库、数据仓库技术的出现与成熟，再到大数据时代NoSQL等新型数据管理系统的涌现，一直是数据领域研究和工程领域的热点。数据库 数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。简单来说是本身可视为电子化的文件柜，用户可以对文件中的数据进行新增、截取、更新、删除等操作。严格来说，数据库是长期储存在计算机内、有组织的、可共享的数据集合。数据管理历史关系数据库 上世纪70年代，IBM公司的E.F.Codd开创了关系数据库理论，80年代随着事务处理模型的完善，关系数据管理在学术届和工业界取得主导地位，并一直保持到今天。关系数据库的核心是将数据保存在由行和列组成的简单表中