大数据应用技术和潜问题研究.docVIP

大数据应用技术和潜在问题研究  大数据应用的技术体系 1.云计算及其编程模型MapReduce 1)云计算简述:大约从2007年下半年开始,云计算由于其能提供灵活动态的IT平台,服务质量保证的计算环境以及可配置的软件服务而成为热门话题。文献中给出了云计算的比较完整的定义:云计算一个大规模的由规模经济驱动的分布式模型,位于其中的抽象的、虚拟的、动态可扩展的、可管理的计算能源、存储、平台、服务等通过因特网交付给外围客户。由上述云计算的定义我们知道,云计算首先得是大规模的、分布式的,少量的计算处理用不着云计算;其次,它是跟规模经济相关联的,比较形象的说法是,云计算资源跟“电”和“水”一样,是按需收费的,并且是大规模式销售的,通常在建立数据中心时会考虑成本因素;最后,它从广义上说是给客户的一种服务,可以包括提供存储、计算等资源。云计算可以按服务的内容和交付形式分为基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)等。在单机芯片集成度已进入极小尺度级别,指令级并行度提升也已接近极限的今天,纵向扩展似乎已经不够现实,这也远远不能满足大数据处理的要求,而云计算的要求比较宽松的允许异构网络的横向扩展,无疑给大数据处理带来了方便。云计算能为大数据提供强大的存储和计算能力,可以迅速、方便地为大数据提供服务,另一方面,大数据的处理需求也为云计算提供了更