HadoopTechChoosebyhellboy.pptVIP

* * * * * * * * * 云计算中的应用 Hadoop框架介绍 一. 日志分析系统介绍 目前采集系统介绍 (1)WEB前端系统(广告) (2)日志分析 (3)数据的固化 架构设计优缺点 优点 节点相互独立 消息间通信方便 部署便利 缺点 系统性能(大数据量需重新按业务逻辑进行编码) 中心数据库集群瓶颈 应用分布式导致无法协作 小文件碎片 二. 分布式框架筛选 比较GridGain与Hadoop GridGain只提供分布式计算 Hadoop HDFS可以多打1000数据节点,达到PB级别数据 GridGain不提供数据排序 GridGain不支持combiners GridGain只使用java.io serialization GridGain仅仅由GridGain公司提供支持 比较Hypertable与Hadoop Hypertable是一个开源、高性能、可伸缩的数据库 Hypertable是Bigtable的一个开源实现 Hypertable选用C++ Hypertable速度快 Hypertable面向底层文件系统的接口已经通过一种代理（broker）机制进行了抽象 HBase更稳定 为什么选择Hadoop? 简单的编程模型 可以快速的进行分布式系统测试 灾难性处理 自动为每台机器分配数据和作业 自动平衡CUP 普通硬件即可搭建环境 支持Linux和Windows 管理界面(命令行与web) 三. 如果进行改造 分布式数据 利用Hadoop分布式文件进行大数据量进行拆分 “本地计算”是最有效的一种节约网络带宽的手段，“移动计算比移动数据更经济”。 分布式数据与分布式计算 分布式计算 在Hadoop集群进行分发的结合,且相仍然沟通。数据片断关键key可以用通知Hadoop如何寄发相关位信息到一个共同的目的节点。 内部Hadoop处理所有数据传送和群拓扑结构的问题。 单独节点失败可以重新运作在其他机器的任务上。因为用户级任务不互相明白地沟通，消息不需要由用户程序交换，亦不结需要滚动回到预先安排检查站部分地重新开始计算。 四. 期望的目标 成本与效果分析 业余时间 协同工作 横向扩展优势突出 数据的冗余 企业级云出现--云计划 分布式存储 分布式计算 分布式数据库 采集系统性能/扩展性提升 解决其他系统性能瓶颈 广告时间 thanks! QA * * * * * * * * * * * * * * * * * * * * * * * * *