数据云寻找在云计算上合适的大数据管理抽象层.PDF

数据云：寻找在云计算上合适的 大数据管理抽象层 王晓阳 复旦大学计算机科学技术学院 2012.10.13 NDBC 2012 Outline  背景：数据管理  大数据（Big data ）、云计算（Cloud ）  数据云（在云上管理大数据）  几种数据云上可能的数据模型  值得研究的问题   结论 数据管理 存储方式方法 使用方式方法 数据系统性质 数据模型（Data Model) Logical Data Manipulation Structure + Language Physical Access models patterns 数据系统性质 ACID CAP BASE 关系模型   结构简单且非常灵活、满足众多要求   SQL成熟可靠  行存储支持快速数据存取  列存储支持快速数据分析   事务管理（transaction management ） 大数据（Big Data）   数据性质：3V （或 4V ）  Volume ，Velocity ，Variety ， （and Value ）   但不见得所有“大数据”3V 都占   Possibly only Volume+Velocity   Or only Volume+Variety 大数据（Big Data）  用户要求  快速导入、快速提取  大量数据上Analytics   “Do it cheap ” 云计算   大量低价硬件   高速内联网络   低价（开源）基础软件   包括操作系统、数据库 云的性质   支持计算   基础：多核、大量结点、高速网通讯   结点间无共享（Share nothing ）   多错（经常宕机）   支持数据   特点：海量   一般：充分共享（拷贝昂贵）   支持Scale-out   要求：充分利用增加的节点 数据云 建立在云计算平台上的（大）数据管理系 统 数据云：数据模型？  Relation based  Key-value based  Graph based  Matrix based Relation based  NewSQL  专注 Volume ＋Velocity  Scale-out  Xeround Technical Problems: CAP property Something must give… Key-value based   A set of key-value pairs ：任意key ，任意value   可以嵌套（既set of sets ）   常用标准：JSON ／BSON { firstName : John, lastName : Smith, male: true, age: 25, address: { streetAddress : 21 2nd Street, city: New York, state: NY, postalCode : 10021 }