赖明星数据库技术组015年1月22日.pptVIP

谢谢！ 赖明星 数据库技术组 2015年1月22日 TokuDB 与 FT-Index 目录 目录 1. TokuDB简介 产品 团队 与innodb对比 人们对tokudb的印象 1.1 产品 TokuMX TokuDB tokudb-engine (handle) ft-index 07年开始开发，09年发布第一个版本，13年4月开源 1.2 团队 3位(Tokutek)创始人:?Michael A. Bender?,?Martín Farach-Colton?,?Bradley C. Kuszmaul? TokuDB目前有５名研发: prohaska tokudb-engine研发，版本发布(一个人) Leif tokuFT研发，tokuMX研发(Bender学生) zkasheff tokuFT研发，tokuMX研发 (Kuszmaul学生) esmet tokuFT研发(Farach学生) fizzfaldt 算法优化(Bender学生)  1.3 与innodb对比 InnoDB TokuDB Index Type B-tree Fractal Tree? index Insertion Rate at Scale 100s / second 10,000s / second Compression ~2x 5x – 10x typical, up to 25x possible Hot Indexing No (hrs+) Yes (secs to mins) Hot Column Addition/Deletion/ Expansion/Rename No (hrs+) Yes (secs to mins) Fast Loader No Yes Fragmentation Immunity No Yes (no dump/reload downtime – no index fragmentation) Clustering Indexes Primary Key Only Multiple Eliminates Slave Lag No Yes 1.4 人们对tokudb的印象 tokudb是一个应用在MySQL和MariaDB中的存储引擎，它使用索引加快查询速度，具有高扩展性，并支持hot scheme modification。 特点： 1.插入性能比innodb快20~80倍； 2.压缩数据减少存储空间； 3.数据量可以扩展到几个TB； 4.不会产生索引碎片； 5.支持hot column addition，hot indexing，mvcc； 如何考虑使用： 1.如果要存储blob，不要使用tokudb，因为他的记录不能太大； 2.如果记录数过亿，使用tokudb； 3.如果注重update的性能，不要使用tokudb，他没有innodb快； 4.如果要存储旧的记录，使用tokudb； 5.如果要缩小数据占用的存储空间，使用tokudb； 目录 2. Fractal Tree Index 2. Fractal Tree Index B-tree索引的缺陷 假设：B = 16KB 50GB / 16KB ~ 300w个node，太多了！ 缺点：不适合随机读写，大部分是寻道时间！ 2. Fractal Tree Index Fractal-Tree??索引 B = 4MB (块大，整块压缩，~1MB) 50GB / 4MB ~ 1w个node，node少！ 2. Fractal Tree Index 每个node有4-16个子节点(fanout) 每个node都有一个message buffer 靠近root的节点在内存，靠近leaf的节点在磁盘 Main memory Disk 2. Fractal Tree Index Main memory Disk INSEInsert/Update/Delete/Column等，均是message，可lazy式操作，延迟小RT Main memory Disk 2. Fractal Tree Index 2. Fractal Tree Index 2. Fractal Tree Index 目录 3.从存储角度理解TokuDB的优势 机械硬盘 SSD 读、写速度不对称 异地更新 写前擦除 写以页为单位、擦除以块为单位 有限次的擦除操作 目录 4. TokuDB的独有特性及原理 超高的压缩比例 多个聚集索引 No Slave Lag Hot Schema Change 4.1 超高压缩比例 TokuDB支持的几种压缩算法（ROW_FORMAT） Tokudb_lzma To