DataStructuresandAlgorithmsforBigDatabases大数据库数据结构与算法.pptxVIP

Data Structures and Algorithms forBig Databases 数据收集查询处理过程中有趣的tradeoff 一个3亿行的表创建索引花了20分钟去load the table但是花了10天在这上面创建索引 Bug #9544 “Select queries were slow until I added an index onto the timestamp field...Adding the index really helped our reporting, BUT now the inserts are taking forever.” Comment on “They indexed their tables, and indexed them well,And lo, did the queries run quick!But that wasn’t the last of their troubles, to tell–Their insertions, like treacle, ran thick.” Not from Alice in Wonderland by Lewis Carroll This tutorial 更好的数据结构意味着减少insert/query的开销(tradeoff) 这些结构在扩展到更大的尺寸的情况下更加有效、在使用内存分层的结构下 LSM TREE B-TREE Fractal-tree 我们这里怎么定义big data 不是说 TB PB EB就是big data，我们的定义是： 数据太大 不适合存储在主存中 我们需要数据结构化 “Index””metadata”就意味着这里有潜在的数据结构 这些数据结构也太大了也不适合存在主存中 In this tutorial we study the underlying data structures for managing big data Tokutek公司介绍 working together on I/O-efficient and cache-oblivious(易失) data structures tokuDB： ACID支持； 闭源的MySQL存储引擎 这次totorial举的一些例子就是这个 这次tutorial前提 self contained 自给的 想去教 如果不清楚 提问 应该有数学基础 想要听一下午时间 Topic I/O model and cache-oblivious analysis. IO模型和分层cache分析 Write-optimized data structures. 数据写优化 How write-optimized data structures can help file systems. 怎样写数据结构优化帮助文件系统 Block-replacement algorithms. Indexing strategies. 索引策略 Log-structured merge trees. 日志结构的合并树 Bloom filters Module 1: I/O Model and Cache-Oblivious Analysis Story for module 如果想理解数据库中数据结构的性能就需要了解现代IO模型 这里有一个很长的故事来理解内存分层。Many are beautiful. Most have not found practical use. Two approaches are very powerful 后面的基础 现代磁盘访问的IO模型 计算机如何工作 数据在磁盘和RAM之间传输 Block的传输时间控制着运行时间 目标： 最小的block传输 性能取决于这些参数：block size B, memory size M, data size N 几个例子： 扫描一个队列O(N/B) I/Os 搜索一个B-tree:O(logB N) 搜索一个队列: 对比搜索array和B-tree IO影响排序 假设下面这几种排序问题： 100M data 10M RAM 1MB 磁盘块 几种排序算法： 每次读10M 排序，写，然后继续100个10M 合并10个10M为100M再跑，重复10次 合并10个100M的一起再一次跑1000M 排序分析 简化的DMA模型 省去CPU开销 假设所有块的访问花销相同 这是一个好的性能模型么？ 2KB 或者4KB对于这种模型太小了 Innodb的btree有这种尺寸 顺序读取比随即读取快十倍，不适合这种模型 没有一个最佳的尺寸，因为对不同的操作最佳size不相同(insert/delet