DTCC2014-Cassandra应用和改进.pptx

Cassandra应用与改进360的大数据内容? 集群现状? 问题与改进? 后续工作Cassandra集群现状? 存储规模主机规模备份规模数据规模单日新增8000台3800台70PB400TB单集群规模集群容量150台（24/3T）9P300台（24/3T）18P…………1000台（24/4T）84PCassandra特点? Dynamo + BigTable? 高可用性? 可扩展性Cassandra应用方式? 使用方式– 预先划分range:? RandomPartitioner? OrderPerservingPartitioner– 文件I/O方式：? standard? mmapped改进的重心? 数据可靠性? 运维的便捷? 成本的考量数据可靠性：本地自检修复? 问题：– 扇区、磁盘故障、主机故障导致副本缺失– 新写入数据副本可能不足（ONE/QUORUM）– 系统自带机制不能保证副本及时修复： ? 读修复、Hinthandoff、Repair操作局限性? 损坏的SSTable在内存索引中，但磁盘数据读异常? 改进：– 故障磁盘/文件自动在线摘除– 接入节点新增数据的副本检查– 数据节点全量数据的扫描修复数据可靠性：本地自检修复? 1. 文件/磁盘自动摘除– 目的：? 去腐生肌? 消除影响– 基于统计? 文件异常访问次数? 摘除文件比例数据可靠性：本地自检修复? 2. 数据