Hadoop在网盘和在线备份的应用与挑战.pdf

Hadoop在网盘和在线备份的应用与挑战 Carbonite China(凯备份)技术总监兼高级架构师 Saturday, December 01, 2012 2012-12-1 提纲  互联网存储应用的特点  网盘与在线备份的特点  分布式存储平台简介  总体实现方案  分布式数据库分析  分布式数据库特点  分布式文件系统分析  小结 ©2012 Carbonite.cn 凯备份 2 互联网存储应用的特点 ©2012 Carbonite.cn 凯备份 3 互联网存储应用的特点  高可靠：数据多份存储  高可用：7X24小时服务  高扩展：透明升级扩容  高性能：高并发，低延迟  高安全：严格IDC管理制度和分布式密钥管理  高性价比：成本价格可控制  易监控维护：响应及时 ©2012 Carbonite.cn 凯备份 4 网盘与在线备份的特点 ©2012 Carbonite.cn 凯备份 5 网盘和在线备份的特点  网盘与在线备份有很多相同点 • 后台架构类似 • 访问方式相似 （上传及下载） • 都是云存储服务 • 目标都是解决数据存储问题等  在线备份相对网盘（同步盘）的特殊性 • 是否保持用户的原始路径 • 是否有设备的区分 • 是否可以备份企业级数据库 • 是否密钥用户可以自己保存 • 元数据的存储方式丌一样 ©2012 Carbonite.cn 凯备份 6 分布式存储平台简介 ©2012 Carbonite.cn 凯备份 7 Hadoop生态结构图 Pig Hive HBase Zookeeper Map/Reduce(分布式计算) HDFS(分布式文件系统) OS(操作系统) ©2012 Carbonite.cn 凯备份 8 分布式存储平台简介 数据应用层 PC Mobile WEB 业务处理层 MapReduce/Carbonite 文件流信息 小数据存储层 HBase MongoDB MySQL 大数据存储层 HDFS CFS ©2012 Carbonite.cn 凯备份 9 分布式存储平台简介(二)  总共有1000亿个文件  每天增加近1个亿新文件  总共服务器台数约有1万台  总存储量约为200P ©201