数据库内核杂谈（二）：存储“演化论”.docxVIP

数据库内核杂谈（二）：存储“演化论” 至此，我们从最原始的使用 CSV 文件格式来存储数据，一步一步依据数据库的操作需要， 进化 出了下面这些优化方法: 为了更好得支持对表的元数据的管理和变更操作, 分别元数据和数据的存储 为了更高效地实现增删改数据，引入 slot_table 以及标注信息来纪录对数据的增删改，并且引入 vacuum 操作定期清理无用的行数据 为了更高效得存储数据，用 byte 来存储数据协作高效的编码和解码算法来加速读取和写入 为了应对数据仓库中简单报表的查询语句和超大量的数据读取，引入列存概念，并且用压缩算法来进一步优化数据量 具体到真负数据库的实现，还有很多各个方面的工程优化。比如，为了提高从文件系统读取数据到内存的速度，把文件块的大小设置得和内存页全都，用内置的缓存机制来提前换进和换出数据页 (相对于操作系统的默认缓存机制，数据库系统更清楚哪些数据会一起被使用从而可以提前做好预备)。但是各种优化，也并不是数据库大牛拍脑袋想出来的。而是针对问题，提出思路和处理方案，一步一步实践出来的。所以面对工作中的工程问题，我们也应当本着这种心态去处理和处理。 最终留个坑，虽然列存的实现，使得我们不用读取无用列的数据，但针对某些点查询的语句 (point query)，比如 select col2 from table1 where col1 = 10, 我们照旧需要读取 col1 和 col2 两列的全部数据。有什么方法可以优化这类查询吗？ 下一篇，我们接着聊这类优化 - 索引 (indexing)。