大数据发展及关键技术分析研究.docVIP

大数据发展及关键技术分析研究 　　[摘 要]随着新一代信息通信技术的快速发展和普及应用，大数据成为继云计算、移动互联网之后的新热点，大数据促进了信息和产业跨界融合，成为加快智慧城市建设，促进信息消费，推动经济社会转型发展的新引擎，大数据时代正在来临。 　　[关键词]大数据；特点；Hadoop；MapReduce技术；关键技术； 　　中图分类号：TP311.13 文献标识码：A 文章编号：1009-914X（2015）48-0368-01 　　2011年5月，全球知名咨询公司麦肯锡（McKinseyCompany）肯锡全球研究院（MGI）发布了一份报告――《大数据：创新、竞争和生产力的下一个新领域》，报告指出，大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。 　　2011年12月，工信部发布的物联网十二五规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。 　　一、大数据技术特征 　　大数据技术是一种新一代技术和构架，它以成本较低、以快速的采集、处理和分析技术，从各种超大规模的数据中提取价值。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。大数据具有五大特征（4V+1O），即： 　　1、数据量大（Volume）。第一个特征是数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。 　　2、类型繁多（Variety）。第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等，多类型的数据对数据的处理能力提出了更高的要求。 　　3、价值密度低（Value）。第三个特征是数据价值密度相对较低。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。 　　4、速度快时效高（Velocity）。第四个特征数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。 　　5、数据是在线的（Online）。数据是永远在线的，是随时能调用和计算的，这是大数据区别于传统数据最大的特征。现在我们所谈到的大数据不仅仅是大，更重要的是数据变的在线了，这是互联网高速发展背景下的特点。比如，对于打车工具，客户的数据和出租司机数据都是实时在线的，这样的数据才有意义。 　　二、大数据技术的核心是存储、计算和分析技术 　　1、大数据存储管理技术 　　数据的海量化和快增长特征是大数据对存储技术提出的首要挑战。这要求底层硬件架构和文件系统在性价比上要大大高于传统技术，并能够弹性扩展存储容量。但以往网络附着存储系统（NAS）和存储区域网络（SAN）等体系，存储和计算的物理设备分离，它们之间要通过网络接口连接，这导致在进行数据密集型计算时I/O容易成为瓶颈。同时存储管理系统需要适应对各种非结构化数据进行高效管理的需求。 　　为解决上述问题，谷歌公司开发了BigTable和Hadoop HBase等非关系型数据库，通过使用“键-值（Key-Value）”对文件等非二维表的结构，具有很好的包容性，适应了非结构化数据多样化的特点。同时，这类数据库主要面向分析型业务，一致性要求可以降低，只要保证最终一致性即可，给并发性能的提升让出了空间。 　　2、大数据并行计算技术 　　大数据的分析挖掘是数据密集型计算，需要巨大的计算能力。与传统“数据简单、算法复杂”的高性能计算不同，大数据的计算是数据密集型计算，对计算单元和存储单元间的数据吞吐率要求极高，对性价比和扩展性的要求也非常高。 　　谷歌在2004年公开的MapReduce分布式并行计算技术。一个MapReduce系统由廉价的通用服务器构成，通过添加服务器节点可线性扩展系统的总处理能力，在成本和可扩展性上都有巨大的优势，目前已经成为应用最广泛的大数据计算软件平台。 　　MapReduce的工作原理其实是先分后合的数据处理方式。Map即“分解”，把海量数据分割成了若干部分，分给多台处理器并行处理；Reduce即“合并”，把各台处理器处理后的结果进行汇总操作以得到最终结果。如右图所示，如果采用MapReduce来统计不同几何形状的数量，它会先把任务分配到两个节点，由两个节点分别并行统计，然后再把它们的结果汇总，得到最终的计算结果。 　　3.大数据分析技术