大数据带来的挑战和机会.pdfVIP

大数据带来的挑 战和机会 刘松涛 sean.liu @ Q 昆腾全球大数据存储专家 2013年6月27 日 | Quantum Confidential 大数据 在存储层意味着什么？  存 – 我们如何存放大数据 – 如何高效存入、取出 – 如何存放若干年而不会烂掉  用 – 我们如何用大数据 – 如何高效获取、加工、生产、传播 2 | Quantum Confidential 存大数据的挑战和机会 | Quantum Confidential 挑战一：数PB的数据怎么存？  传统存储难以安全的存放几个PB的数据  上百PB怎么办？  怎么回事？ –磁盘： –文件系统 –RAID技术不适合海量数据、位错误 (Bit Error) –人为错误怎么办-human error? –磁带：海量、技术成熟、价格低，但访问数据较慢、构 架复杂 | Quantum Confidential 机会：用磁带存数据 昆腾磁带库 – 全球市场占有率第一 – 媒资软件兼容性最好 – 密度最大、占用机房面积最小 – 自动后台磁带健康检测（业界独有） Scalar i6000 Scalar i500 | Quantum Confidential 机会：磁带的发展之道—长期存储  优势：最低成本、最低功耗  大多数公司仍使用磁带作为备份战略的一部分，但用于长 期保存和灾难恢复 – 重复数据删除等其它技术更适合备份和恢复  磁带还可用于主动归档或大数据存储 – 包括云提供商  这种使用场景要求磁带库提供： – 密度和可扩展性 – 可用性 – 性能 – 投资保护 | Quantum Confidential 机会：用海量的对象存储 来存数据  怎么办？  昆腾Lattus云存储 –海量数据的永久保存 –跨地理位置的云存储 –低能耗、高密度磁盘存储 – 自我保护、自我治愈、低运营成本 7 | Quantum Confidential 昆腾Lattus存储 | Quantum Confidential 解决Bit Error和Rebuild的传统方法 • RAID Rebuilds = 性能下降、高成本 • 依然存在Bit Error的问题 • 镜像：成本很高，购置成本运行成本 • 不镜像：数据失去保护 • 对象存储：3个副本？ RAID 6 Replication RAID 6 RAID 6 RAID 6 9 | Quantum Confidential Lattus云存储 无限扩展容量 App App • QSpread • QDynamics HTTP