HadoopTechChoose-by-hellboy.pptVIP

* * * * * * * * * 云计算中的应用 Hadoop框架介绍 一. 日志分析系统介绍 目前采集系统介绍 (1)WEB前端系统(广告) (2)日志分析 (3)数据的固化 架构设计优缺点 优点 节点相互独立 消息间通信方便 部署便利 缺点 系统性能(大数据量需重新按业务逻辑进行编码) 中心数据库集群瓶颈 应用分布式导致无法协作 小文件碎片 二. 分布式框架筛选 比较GridGain与Hadoop GridGain只提供分布式计算 Hadoop HDFS可以多打1000数据节点,达到PB级别数据 GridGain不提供数据排序 GridGain不支持combiners GridGain只使用java.io serialization GridGain仅仅由GridGain公司提供支持 比较Hypertable与Hadoop Hypertable是一个开源、高性能、可伸缩的数据库 Hypertable是Bigtable的一个开源实现 Hypertable选用C++ Hypertable速度快 Hypertable面向底层文件系统的接口已经通过一种代理（broker）机制进行了抽象 HBase更稳定 为什么选择Hadoop? 简单的编程模型 可以快速的进行分布式系统测试 灾难性处理 自动为每台机器分配数据和作业 自动平衡CUP 普通硬件即可搭建环境 支持Linux和Wind