西北工业大学计算机学院教授李战怀：大数据背景下分布式系统的数据一致性策略.pdf

大数据背景下分布式系统的 一致性策略 李战怀 西北工业大学 2013-12-03 提纲 数据一致性的发展脉络 数据一致性的发展脉络 一致性理论与相关技术 一致性理论与相关技术 分布式系统的一致性选择 分布式系统的一致性选择 对一致性策略的思索 对一致性策略的思索 提纲 数据一致性的发展脉络 数据一致性的发展脉络 一致性理论与相关技术 一致性理论与相关技术 分布式系统的一致性选择 分布式系统的一致性选择 对一致性策略的思索 对一致性策略的思索 数据一致性 什么是数据一致性? Data consistency summarizes the validity, accuracy, usability and integrity of related data between applications and across an (IT) enterprise - Wikipedia 大数据对一致性的影响—硬件基础的变化 • 新型存储器件的出现使计算机存储结构发生了变化 • 相变存储器（PCM ），磁阻式随机存储器（MRAM ）和电阻式随 机存储器（RRAM ） 等新型存储级内存(storage class memory, SCM ) ，SSD等 • 新的机遇与挑战 • 内容容量大幅增长，具有了存储和管理海量数据的能力，使得基于 内存进行事务处理成为可能 • 数据访问特征的变化：并发性大幅提高，维护一致性的并发控制难 度增大 • 存储特性的变化：如 SSD读写代价不对称 • 多级缓存持久化引发 更复杂的一致性问题 内存墙导致多级缓存的引入 大数据对一致性的影响—硬件基础的变化 Useful Work 4% • 芯片的发展 Latching Recovery 24% • 芯片发展遇到功耗墙、频率墙等问题；处理器 24% Buffer 也在经历单核到多核众核的发展，并出现 Locking Pool 多核/多处理器共享缓存的新架构 24% 2