《SQLite数据库文件格式全面分析》.pdf

SQLite SQLite SSQQLLiittee数据库文件格式全面分析 0 0 00 前言 性急的兄弟可以跳过前言直接看第1 章，特别性急的兄弟可以跳过前面各章，直接看鸣谢。 SQLite 数据库包括多方面的知识，比如VDBE 什么的。据说那些东西会经常变。确实，我 用的是3.6.18 版，我看跟其它文档中描述的3.3.6 的VDBE 已经很不一样了。所以决定先写 文件格式，只要是3.?.?的版本，文件格式应该不会有太大变化吧。 网上介绍SQLite 文件格式的文章并不少，但一般都是针对小文件：一个表，几条记录，两 个页。本文准备一直分析到比较大的文件，至少B-tree 和B+tree 中得有内结点(就是说不能 只有一个既是根又是叶的结点，就是说表中得多点记录，得建索引)，还要争取对SQLite 的 各类页都做出分析。 在分析的过程中，争取把SQLite 数据库关于文件格式的基本规定也都介绍一下。这样，本 文既是一个综合性的技术文档，又带有实例说明，兄弟们参考时岂不是就很方便了吗？ 既然是技术文档，要想读懂总得先掌握点SQLite 数据库的基本知识吧。所以，先介绍参考 文献。 0.1 参考文献 0.1 参考文献 00..11 参参考考文文献献 1-The Definitive Guide to SQLite . Michael Owens：比较经典的SQLite 著作。我边看边翻译了 其中的部分内容，但翻得不好，大家还是看原文吧。 2-SQLite 源代码：有关SQLite 的最原始说明都在源代码中了。先浏览一下代码还是很有收 获的，特别是几个主要的.h 文件。有关文件格式的说明主要在btreeInt.h 中。 3-SQLite 入门与分析 ：网上Arrowcat 的系列文章。Arrowcat 应该是一个很博学的人，看他 的文章收获很大，在此也算是鸣谢吧。 4-SQLite . Chris Newman：我没看，因为也是网上能够下载到的重要资源，所以列出。看目 录内容应该比参考文献1 简单一些，但出版日期也更早了一些。 5-NULL：在网上搜了半天，国内为什么就没有关于SQLite 的好书呢？ 6- /fileformat.html：如果这篇文章看懂了，其实我这篇东西根本就不用再 看了。这是介绍SQLite 文件格式的权威文档，列在最后，是因为我也是写完这篇东西后才 看到的。该文档由SQLite 官方网站提供，当初没看，一是因为上网少，还没仔细浏览人家 的网站就开始干了(太激动)，其实归根结蒂还是因为英语不好。看到此文档这后还敢把我的 东西发出来，有两个原因：一、为其他英语比我强不了多少的兄弟提供一点方便，二、我这 里有例子，看起来更形象一些吧。 0.2 术语 0.2 术语 00..22 术术语语 本文涉及的绝大多数术语都是在出现时再进行简单解释，但还是有个别概念需要先说明清 楚，比如： (1) Btree、B-tree 和B+tree： Btree 是为磁盘存储而优化了的一种树结构，其一般性说明可参考各类《数据结构》教材。 根据实现方法的不同，Btree 又分为很多类型。在SQLite 中，存储表数据用的是B+tree，存 储表索引用的是B-tree。由于历史原因，SQLite 在3.0 版以前只使用B-tree，从3.0 版开始， 才对表数据使用了B+tree。因此，在SQLite 的官方文档中，有时B-tree 表示存储表索引的 B-tree，有时又是两种Btree 的统称。本文中将两种Btree 的概念加以了区分，而将Btree 作 为两种树的统称，这是与SQLite 官方文档及当前大多数SQLite 介绍性文档相区别的地方。 (2) auto-vacuum 数据库： 一般情况下，当一个事务从数据库中删除了数据并提交后，数据库文件的大小保持不变。即 使整页的数据都被删除，该页也会变成“空闲页”等待再次被使用，而不会实际地被从数据 库文件中删除。执行vacuum 操作，可以通过重建数据库文件来清除数据库内所有的未用空 间，使数据库文件变小。但是，如果一个数据库在创建时被指定为auto_vacuum 数据库，当 删除事务提交时，数据库文件会自动缩小。使用auto_vacuum 数据库可以节省空间，但却会 增加数据库操作的时间，有利有弊。Auto_vacuum 数据库需要使用附加的格式，如指针图页 （本文第6 章有介绍），本文重点讨论非auto_vacuum 数据库。 (3) 数据库映像、数据库文件和日志文件： “数据库映像”是SQLite 数据库的