数据密集型计算环境下的数据管理问题.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Google与Hadoop对比 Google Hadoop Map/Reduce Hadoop Map/Reduce GFS HDFS BigTable HBase Hadoop体系结构 HDFS体系结构 Hadoop Map/Reduce User Program Worker Worker Master Worker Worker Worker fork assign map assign reduce read local write remote read, sort Output File 0 Output File 1 write Split 0 Split 1 Split 2 Input Data Hbase (Hadoop DataBase) Hadoop子项目之一 提供类似于Google的BigTable的数据存储、访问功能 Hbase不同于一般的数据库，主要针对管理“宽表” 宽表：上百万列、上亿行的稀疏表格 数据可按表、行或列进行存取 Hbase (Hadoop DataBase) 概念视图 Hbase (Hadoop DataBase) 物理视图 现有技术实例：Greenplum 基于Postgresql 同时支持Map/Reduce和SQL对数据进行操作 能在大规模集群上进行部署 实现了并行数据流操作和并行查询处理 对数据仓库功能进行了优化 采用位图索引 Greenplum体系结构 Greenplum分块服务器 Greenplum数据分块 Greenplum查询优化与调度 Greenplum并行数据流处理 Greenplum的Map/Reduce+SQL处理 DISC展望 硬件集群 将会成为下一代的基础设施之一 软件集群 将会出现更复杂的数据操作平台 将和高级编程模型相结合 应用 将出现一大批基于DISC的新应用 应用展望 个人信息代理 * 应用展望：CWI Web archiving: Storage, index, crawler/extractor, ... Access toolkits: Query/search, analysis, version, ... Applications: Recommendation/personalization, filtering/monitoring, ... Data Tools Usage Distributed/parallel storage and computation Self-adaptive/intelligent Data extraction Un/semistructured data management. News analysis and recommendation Distributed deployment of Big Table w. Transaction management. Inand crosspage, cross-media analysis Keyword bidding assistant tools Advanced Web filtering tools Web data service for academic/public use DISC中的数据管理问题 高可用的分布式存储系统 如何充分利用集群的分布式存储能力？ 如何快速地基于语义对数据进行分块？ 异构与非结构化数据的存储与索引 突破Map/Reduce的基于扫描的数据存取方式 “宽表”是否是异构数据和非结构化最合适的数据模型？ 如何实现搜索与查询的结合？ 支持事务管理的大规模并行查询语言与查询处理 设计适合于大规模集群的弱化的事务模型 实现查询处理和优化的并行 面向服务的数据管理 设计基于流的客户端访问 优化数据传输 谢谢 !? * * * * * * * * 图片中的例子由Intel Research Pittsburgh统计的过去数据，现在最新的数据会大很多。 * * * * * 数据密集型计算环境下的数据管理问题 周傲英 提纲 数据密集型计算 是什么？ 为什么重要？ 难点 研发进展 数据密集型计算展望 支持数据密集型计算的数据管理技术 数据密集型计算：内涵 美国太平洋西北国家实验室把数据密集型计算定义为： Data Intensive Computing is capturing, analyzing, and understanding data at volumes and rates that push the frontiers of current technologies.