大数据技术发展与发展趋势 文档参考.pdfVIP

大数据技术发展与发展趋势 大数据技术发展与发展趋势 摘要 互联网的快速发展带动了信息技术的飞速进步，21世纪的到来使人类进入了信息化的时代。 这是一个数据爆炸的时代，传统的数据存储模式已经远远无法满足现代人们生产、生活的需 要。在这种背景下，大数据技术应运而生而且发展迅猛，已经迅速融入到人们生活的各个领 域当中。目前国家已经将大数据的发展列为国家的重要战略。本文阐述了大数据的概念及其 特点，分析了大数据技术的发展和发展趋势以及大数据的展望。 关键词: 大数据技术 发展 趋势 展望 Development and development trend of big data technology Summary The rapid development of the Internet has led to the rapid progress of information technology. With the advent of the 21st century, human beings have entered the informationage.Thisisan eraofdata explosion,thetraditionaldata storagemode hasbeen far from meeting theneeds ofmodern peoplesproduction and life. In this context,big data technology emergesasthe timesrequireand developsrapidly,and hasbeen rapidly integrated into allareasofpeoples lives.Atpresent,China has listed the development of big data as an important national strategy. This paper describestheconceptandcharacteristicsofbigdata,analyzesthedevelopmentand development trend of big data technology and the prospect of big data. Key words:Development trend of big data technology 一、大数据技术 1．大数据的概念 相比传统的数据概念，大数据可以说是一种全新的思维模式和数据运用方式。它不仅拥 有庞大的数据量和种类繁多的数据集，而且它与传统的数据有着本质的区别。亚马逊科学 家认为 “大数据是任何一台超过了一台计算机处理能力的数据量”。大数据可以用4V 特征 来表述。第一个v是volume,指数据量大，而且还不断增长，难以预测；第二个v是 variety, 指种类繁多，来源广泛，包含网页、视频、音频等多种多样的信息来源；第一个v 是velocity 指速度快，大数据不仅产生速度快，而且影响快，时效性高：第四个v是value, 指价值性， 人数据的价值密度低，但是整体价值和潜在价值高，需要人们不断去挖掘和开发。 2．大数据的系统架构 从大数据的系统观点来看，大数据的整体架构是通过分层结构来实现的，主要包括5个 环节：数据准备、数据存储与管理、机算处理、数据分析和结果展现。数据准备阶段是从 各种数据源例如：互联网、物联网、企业数据等采集和导入数据，对数据进行加载、提取、 转换成统．格式的结构化数据。数据存储管理是将数据准备阶段转换好的数据导入数据库 进行存储。计算处理是在数据库中通过批处理技术、流处理技术、交互分析技术等对大数 据进涉地分析和整理。 二、大数据技术的发展 1．大数据的采集和预处理 大数据主要通过集中采集和分布采集两种方式来对数据进行收集和整理。大数据通过两 种采集方式从各个系统中采集数据，采集到的数据的存在形式也很多，包括表、树、文件 等。需要对这些采集到的结构化和非结构化数据进一步地整合，通过转换生成一种新的数 据集，便于后续地处理。这些采集技术包括系统目志采集、网络数据采集、其他数据采集 等等。目前数据库继承、信息系统识别、集成融合技术都取得了突破性的进展，发展前沿 的互联网公司己经开始推出数据清浇和质量控制