浅谈大数据技术发展的趋势.docVIP

浅谈大数据技术发展的趋势 　　摘 要：随着信息技术的迅猛发展，各种数据呈指数级增长，标志着大数据时代的到来。大数据已经开始影响我们的工作、生活，甚至国家决策，大数据技术因此也得到了各大研究机构与企业广泛的关注和研究。本文对大数据的相关概念进行了介绍，并对大数据技术未来的发展趋势进行了展望。 　　关键词：大数据；云计算；大数据技术；数据挖掘 　　中图分类号：TP311.13 　　随着互联网技术和应用模式的快速发展，人们生活方式在不断改变的同时也产生了巨大的数据资源。预计到2020年，全球的数据总量将远远超过人类有史以来所有印刷材料的数据总量，大数据时代即将到来。现阶段关于大数据有多种不同的定义，研究机构Gartner认为大数据是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；维基百科上大数据指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策目的的资讯；而麦肯锡则认为大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的数据集合。无论哪种定义，我们可以看出，大数据并不是一种新的产品也不是一种新的技术，就如同本世纪初提出的“海量数据”概念一样，大数据只是数字化时代出现的一种现象。 　　数据量的剧增、国家和企业间竞争的加剧，要求政府和企业能更准确、快速、个性化的为客户和公众提供产品和公共服务。通过大规模掌握用户的细节数据，政府和企业可以分析出通过传统数据分析手段无法获知的价值和模式，做出更为迅速、科学、准确的决策和预测。由此可见，大数据技术是预测分析、数据挖掘、统计分析、人工智能、自然语言处理、并行计算、数据存储等技术的综合运用。 　　1 大数据特点 　　从计算科学发展历程来看，物联网的兴起对数据存储和分析产生了更高层次的需求，云计算则进一步拓展了计算机的计算能力。在以上二者的共同推动之下，大数据的概念应运而生，同时也标志着计算科学进入到一个崭新的时代。大数据有着不同于传统数据对象的特点。目前的研究认为，大数据具有以下主要特征：数据规模大、数据种类多、数据要求处理速度快、数据价值密度低以及数据真实性。数据规模大体现在大数据的数据量是以PB，EB和ZB来进行衡量的；数据种类多体现在大数据的数据类型不仅是结构化数据，还包括物联网数据、社交网络数据和位置数据等数据，更多的是半结构和异构数据，数据的复杂性高；数据处理速度快体现在对静态数据和动态实时数据处理的速度与时效要求高；数据价值密度低主要体现在大数据数据量巨大但由于数据结构分散导致数据价值密度低，需要进行数据分析和推理实现价值提纯；数据真实性体现在只有真实而准确的数据才能使大数据的分析、推理和管理有意义。 　　2 大数据技术发展趋势 　　2.1 人工智能技术的结合 　　大数据分析的目的是挖掘大数据中有价值的信息，是从大数据中获取更准确、更深层次的知识，而不是对数据的简单统计分析。要达到这一目标，需要提高计算机的智能计算能力，让系统具备对数据的分析、推理和决策，人工智能是实现以上能力的核心技术。近年来，人工智能的研究成为学术界和企业界的研究热点，一方面得益于计算机硬件性能的提升，另一方面得益于以云计算、大数据为代表的计算技术的快速发展，使得信息处理的速度和质量大为提高，能够快速、并行地处理海量数据。 　　2.2 基于数据科学的多学科融合 　　在大数据时代，许多学科的研究内容从表面上看存在很大的区别，但是从数据研究的视角来看，其实是有共通点的。随着数字化时代的到来，越来越多的学科在数据层面趋于一致，可以采用相似的思想来进行统一的研究。但数据科学的基础问题体系尚不明朗，其自身的发展尚未形成体系成为制约多学科融合的关键问题。 　　2.3 与网络技术领域的交叉融合 　　未来大数据将与物联网、移动互联网、云计算等热点技术领域相互交叉融合，产生更多融合不同行业数据的综合性应用。近年来计算机和信息技术发展的趋势是：前端更加简单丰富，后端更加智能快速。物联网与移动互联网促进了物理世界和人的融合，大数据和云计算提升了后端的数据存储管理和计算能力。今后，这几个热点技术领域将相互交叉融合，产生很多跨行业和跨领域的综合性应用。 　　2.4 大数据安全与隐私 　　过去几年大数据安全和隐私问题是国内外的研究热点，未来大数据的安全和隐私问题依然将是学术界和企业界研究与探讨的热点。大数据及其相关核心资源涉及企业商业机密和国家主权，引发了社会各界人士的广泛关注，因此如何保护大数据的安全以及用户的隐私成为一个亟待解决的社会热点问题。但大数据应用所产生的隐私问题、大数据系统和体系存在的安全防范方面还没有实质性的进展和突破。毫无疑问，未来大数据安全和隐私问