开源数据仓库Hve在facebook的应用.pptVIP

开源数据仓库Hadoop Hive在Facebook中的应用 Hive简介 Hive是基于Hadoop的一个开源数据仓库系统，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，支持超大规模的数据查询分析。 主要用户： Facebook Digg 淘宝 … Hive在facebook的应用 应用范围 报表 在线分析 数据挖掘 。。。 系统规模 640节点 2000T容量 每节点8核、4TB存储 Disks Node Disks Node Disks Node Disks Node Disks Node Disks Node 1 Gigabit 4-8 Gigabit Node = DataNode + Map-Reduce Data Warehousing at Facebook Today Web Servers Scribe Servers Filers Hive on Hadoop Cluster Oracle RAC Federated MySQL 使用情况 数据量统计: 总数据量: ~1.7PB 系统总容量： ~2.4PB 每日新增数据量: ~15TB 6TB 未压缩原始日志 4TB 未压缩的多维数据（每天重新加载） 压缩率： ~5x (gzip, more with bzip) 使用情况统计: 3200 jobs/day w