Hadoop适用场景.pdf

适用场景 免责声明 • 文档内容来源不限于各产品厂家官方资料且未做详 细来源考证。难免有失实之处，恳请原谅并指正。 • 未标明出处资料以及数据皆来源网络。个别因无法 考证网络出处而未标明来源，恳请谅解并补充。 • 文档所引用资料以及数据可能已过时。如需获得各 产品最新资料，请自行前往相关产品官方网站。 • 文档所持观点及结论为个人主观片面看法及态度， 仅供参考。 • 文档只为培训以及学习目的，不能用于产品招标， 方案选型等商业活动依据。 Hadoop与企业应用的差距 Hadoop初衷 主流企业级应用 行业 互联网 金融/ 电信/工业/… 目标应用案例 搜索引擎 CRM/ERP/WFM/… 性能目标 离线吞吐量(HTC) 在线响应时间 上层主要应用 数据挖掘 数据管理/数据分析 数据重要级别 一般 重要/极重要 服务器规模 几千台到上万台 几十台到几百台 数据量级别 PB 几十到几百TB SLA 无 有SLA 在Apache Hadoop的项目范围之外，有很多产品对Hadoop进行了各种改良、 增强甚至提出另外的解决方案。 数据量 【来源】 数据量级 量级描述 建议工具及实现 1GB 一般硬盘IO约100MB/s，可在10秒 使用Excel，CSV等保存即可， 内扫描整个文件 使用一般工具以及编程语言 10GB 一般服务器可以在内存中Cache整 加载入内存，适当使用索引， 个数据集 使用一般工具以及编程语言 1TB 数据可以在单台服务器上存储 使用PostgreSQL等数据库产 品以及SQL语言 5TB Hadoop • Hadoop的适用范围远小于SQL和Python等脚本语言 – 编程语言对于计算的表达能力差 – 计算的功能弱，只能进行全数据集处理，不支持索引等 主要应用场景 • 存储 – 使用HDFS批量访问文件 – 相关工具：FUSE, Hue, Oozie, Sqoop以及Flume等 • 处理 – 使用MapReduce并行处理框架进行海量数据处 理 – 相关工具：Hive, Pig, Oozie, Mahout以及Hue等 • 随机访问 – 低延时的访问HDFS上的文件，主要使用HBase 5 Hadoop典型应用 • 搜索(Searching) • 日志处理(Log processing) • 推荐系统(Recommendation systems) • 数据分