基于Hadoop的大数据平台整体架构设计.pdfVIP

基于 Hadoop 的大数据平台实施记——整体架构设计 大数据的热度在持续的升温，继云计算之后大数据成为又一大众所追捧的新星。我们暂 不去讨论大数据到底是否适用于您的组织，至少在互联网上已经被吹嘘成无所不能的超级战 舰。好像一夜之间我们就从互联网时代跳跃进了大数据时代！关于到底什么是大数据，说真 的，到目前为止就和云计算一样，让我总觉得像是在看电影《云图》——云里雾里的感觉。 或许那些正在向你推销大数据产品的公司会对您描绘一幅乌托邦似的美丽画面，但是您至少 要保持清醒的头脑，认真仔细的慎问一下自己，我们公司真的需要大数据吗？ 做为一家第三方支付公司，数据的确是公司最最重要的核心资产。由于公司成立不久， 随着业务的迅速发展，交易数据呈几何级增加，随之而来的是系统的不堪重负。业务部门、 领导、甚至是集团老总整天嚷嚷的要报表、要分析、要提升竞争力。而研发部门能做的唯一 事情就是执行一条一条复杂到自己都难以想象的SQL 语句，紧接着系统开始罢工，内存溢 出，宕机简直就是噩梦。OMG ！please release me ！！！ 其实数据部门的压力可以说是常人难以想象的，为了把所有离散的数据汇总成有价值的 报告，可能会需要几个星期的时间或是更长。这显然和业务部门要求的快速响应理念是格格 不入的。俗话说，工欲善其事，必先利其器。我们也改鸟枪换