分布式数据管理大数据处理技术的基础.pdf

分布式数据管理 —— 大数据处理技 术的基础 韩京宇 一时代之学术，必有其新材料与新问题。取用此材 料，以研求问题，则为此时代学术之新潮流。治学之 士，得预于此潮流者，谓之预流 （借用佛教初果之 名）。 —— 陈寅恪先生 “新材料”即为大数据，而“新问题”则是产生于“新材 料”之上的新的应用需求。 ——人大孟小峰教授 2 应用场景 3 技术背景 2016年底，南京汽车有拥有量 为221.68万辆，假定1/5上路， 平均每30秒汇报1次位置，1秒 大约要汇报1.5万次 分布式数据库 历史渊源： 分布式数据库是传统的集中式数据库在分布式系统 上的拓展，满足同一个企业，地理上分布的部门间的 数据集成需求。 现实意义： 分布式是实现海量吞吐、实时响应的根本技术保障， 比如智慧城市建设中的实时数据分析处理、巨量的天 文数据、生物数据分析等等，当前的云数据管理技术 是分布式数据管理技术的发展。 讲课内容 l 基础概念 l 数据分布技术 l 查询优化技术 l 事务提交技术 （自学） l 技术发展 分布式数据库 What is DDB （Distributed Database ）: part 1:从上班路上谈起 DDB is collection of correlated data which spread across network and managed by a software called DDBMS. 美国计算机协会 80年代开发 两种类型 （1）物理上分布、逻辑上集中 （比如SDD-1） （2 ）物理上分布、逻辑上分布 （联邦式数据库系统） 7 DDS主要特点 v 数据是分布的 在不同的结点上分布 v 分布的数据是相关的 是一个或多个应用的相关 数据 v 由DDBMS统一管理 对用户是透明的 8 联邦式数据库体系架构 9 联邦式数据库体系架构 物理上分布、逻辑上分布的数据库 （1）解决现存的、分布的、异构的多个数据库集成的问题。