大数据处理技术简介要点分析.pptxVIP

大数据处理技术简介;;大数据概念; 近年来，一种新的数据密集型应用已经得到了广泛的认同，这些应用的实例包括：网络监控、电信数据管理、Web应用、传感检测等等。在这种数据流模型中，数据以大量、快速、时变（可能是不可预知）的数据流持续到达，如何对海量瞬时流动数据建模并处理，产生了一些新的基础性研究问题。;大数据应用情景一（B2C、C2C与金融）：淘宝、股票等即时交易数据;大数据应用情景三（社交网络）：社交网络即时消息处理;大数据应用情景三（物联网数据流）：传感网、物联网、智慧城市;大数据应用情景四（数据流过滤）：互联网带宽增长;国内外相关研究;国内外相关研究;应用;第一类方法，Hadoop改造： [1] Yingyi Bu等在Hadoop MapReduce工作的基础上设计了HaLoop，主要克服了Hadoop进行迭代计算时需要设置收敛条件以及每次迭代均需要重新加载数据的缺点； [2] 伯克利大学的Tyson Condie等对Hadoop进行改进，设计了Hadoop Online Prototype (HOP)系统，支持连续查询、事件监测以及流处理等功能； [3] Facebook在SIGMOD’ 2011上发表了利用Hbase/Hadoop进行实时处理数据的论文，通过一些实时性改造，力图使hadoop批处理计算平台也具备实时计算的能力。 [4] Google在新一代内容索