神通：迈向100TB：电信业海量数据存储中的数据库实践.pdfVIP

DTCC2011 DTCC2011 迈向100TB ：电信业海量 数据存储中的数据库实践 冯柯 2011-4-12 目录 DTCC2011 DTCC2011 问题与挑战 我们如何压缩？ 我们如何索引？ 我们的产品 我们下一步做什么？ 问题刻划 DTCC2011 DTCC2011 数据：  海量话单文件，500亿行/ 月，每行70列，450字节  需要保存2＋6 （1）月  数据总量超过200TB 查询  基于特定条件（通话起止时间、主被叫号码、局内外交换机号、产品 名称等）组合的详单查询  绝大多数查询只会返回少量的结果 问题：上述查询可以在1秒以内完成吗？ 主要约束 DTCC2011 DTCC2011 约束1：我们不是在构建超级计算机  只使用普通的服务器：刀片机，8核，每核4GB 内存  只使用普通的存储阵列：最大容量4～5TB，平均传输率300MB/秒  支持压缩对降低整体成本至关重要 约束2：每个月的数据能够在一天内装载完吗？  数据装载速度不低于300MB/秒  装载不是必须的 其它功能性约束：  提供标准的SQL支持  支持双机热备  … 挑战1：如何压缩？ DTCC2011 DTCC2011 压缩的主要目的不是减少空间占用，而是提高查询性能  CPU平均处理带宽3.6GB/秒（7000万行/秒/核），I/O平均处理带宽 300MB/秒  通过压缩提升I/O带宽，实现CPU与I/O处理均衡，提高查询性能 使用通用压缩算法？  LZMA：CPU处理带宽太低 压缩比18.9：1，解码速度171MB/秒/核 （折算后）CPU处理带宽991MB/秒，I/O处理带宽5.7GB/秒  LZOP：压缩率太低 压缩比7.2 ：1，解码速度891Mb/秒/核 （折算后）CPU处理带宽2.4GB/秒，I/O处理带宽2.2GB/秒 我们对压缩的要求  压缩率不低于15：1  CPU处理带宽不低于5GB/秒 挑战2：如何索引？ DTCC2011