大数据在存储层意味着什么.pptVIP

刘松涛sean.liu @ Q 昆腾全球大数据存储专家 2013年6月27日 大数据带来的挑战和机会 大数据 在存储层意味着什么？ 存 我们如何存放大数据 如何高效存入、取出 如何存放若干年而不会烂掉 用 我们如何用大数据 如何高效获取、加工、生产、传播 存大数据的挑战和机会 挑战一：数PB的数据怎么存？ 传统存储难以安全的存放几个PB的数据 上百PB怎么办？ 怎么回事？ 磁盘： 文件系统 RAID技术不适合海量数据、位错误(Bit Error) 人为错误怎么办-human error? 磁带：海量、技术成熟、价格低，但访问数据较慢、构架复杂 机会：用磁带存数据 昆腾磁带库 全球市场占有率第一 媒资软件兼容性最好 密度最大、占用机房面积最小 自动后台磁带健康检测（业界独有） Scalar i500 Scalar i6000 机会：磁带的发展之道—长期存储 优势：最低成本、最低功耗 大多数公司仍使用磁带作为备份战略的一部分，但用于长期保存和灾难恢复 重复数据删除等其它技术更适合备份和恢复 磁带还可用于主动归档或大数据存储 包括云提供商 这种使用场景要求磁带库提供： 密度和可扩展性 可用性 性能 投资保护 机会：用海量的对象存储 来存数据 怎么办？ 昆腾Lattus云存储 海量数据的永久保存 跨地理位置的云存储 低能耗、高密度磁盘存储 自我保护、自我治愈、低运营成本 昆腾Lattus存储 解决Bit Error和Rebuild的传统方法 RAID 6 RAID 6 RAID 6 RAID 6 Replication RAID Rebuilds = 性能下降、高成本 依然存在Bit Error的问题 镜像：成本很高，购置成本运行成本 不镜像：数据失去保护 对象存储：3个副本？ Lattus云存储 无限扩展容量 Gigabit Ethernet Fabric 存储节点池 App App Cloud HTTP QSpread QDynamics Scale-out C10控制节点 性能横向扩展 http / REST，NFS/CIFS/WebDav/S3/CDMI 10GbE http/REST http/REST S10存储节点 多达数百PB 在线扩容 在线维护 高密度 低能耗 自我治愈 没有Rebuild时间 10GbE 1 GbE Copyright ? - Amplidata 2011-2012 多站点的云存储 Co-location, TX 1 x C10 10 x S10 广州 2 x C10 10 x S10 上海 用大数据的挑战和机会 挑战：三层构架严重不匹配 您的网络存储的网络利用率只有不到30% 千兆网1Gb/s，提供125MB/s的线速度，实际不到40MB/s 怎么回事？-拖拉机在跑有红绿灯的高速路 以太网是为远距离传输而设计的 以太网是为数据库、办公文档、电子邮件而设计的 安全、可靠，但牺牲了效率，相当于高速路上装上很多红绿灯 CIFS/NFS也是为办公文档等传输设计的 CIFS/NFS相当于坐着拖拉机在跑高速路， 应用层 网络层 存储层（用数据、存数据） 机会：StorNext专业网络存储 三层匹配 怎么办？ 换上大客车、去掉红绿灯 StorNext存储网络利用率高达90%！ 同时兼容FC 挑战：市面上90%的存储都是不是大数据存储 客户依然在用数据库存储来加工大数据 80%以上的大数据用户都在金融业、电信业的存储系统！ 怎么回事？-用信箱当书架 视频不是数据库 不能用信箱当书架！ 机会：使用专业的大数据存储 以前：StorNext文件系统软件 现在：StorNext专业网络存储系统 专为大数据块设计 针对视频大数据块、顺序读写的特点设计 性能优于数据库存储 昆腾和大数据存储 30年专业存储厂商 20年专注大数据存储 未来持续投入于大数据存储 2013年底推出StorNext 5.0，速度更快，支持磁带LTFS格式 2013-2014，昆腾云服务 Q-Cloud 2013-2014，Lattus支持Hadoop等大数据分析解决方案 18