浅谈大数据技术及其发展的趋势.docVIP

浅谈大数据技术及其发展的趋势 　　摘 要：大数据是随着计算机技术、互联网技术、通信技术的发展而必须面对的一个普遍问题，是互联网发展到现阶段的一种表象或是特征。大数据已渗透到人们生活的各个领域中，我们正生活在一个海量数据的时代，凭借其广泛的影响，大数据正在潜移默化地改变着我们的社会对于公共政策、信息科学和社会科学等领域均有着极其重要的应用价值。本文简要介绍了大数据系统框架、技术发展并对其未来的发展趋势进行了分析。 　　关键词：大数据技术 发展趋势 公共安全 商业价值 　　中图分类号：TP391.73 文献标识码：A 文章编号：1672-3791（2018）01（b）-0040-02 　　大数据的出现可以以史无前例的低成本去获取和利用数据，而随着数据成倍的增长，大数据对我们生活的影响也会越深入，不可否认我们正处于一个海量数据的时代。Mckinsey的报告指出在未来10年内消费者的数据价值将由原来的1000亿美元提升为7000亿美元。随着大数据的趋势越来越明显，政府、工业以及研究机构的很多研究人员均对大数据的研究表现出了强烈的兴趣。此外，为更好地应对大数据发展过程中的很多难题和挑战，政府专门为此制定了方案，Science等相关杂志也发表了相关论点。 　　1 大数据系统框架及技术发展研究 　　大数据到底有多大？大数据的大是相对于传统的编程语言、编程思想、数据结构处理能力的大，但是相对于现在的数据增长来说，以前的技术和工具都是传统的。当遭遇新技术浪潮的时候，现在的技术工具又会成为阻碍技术发展的最大问题。因此，大数据的大只是一个相对的大，在未来的发展过程中大数据将会遇到越来越多的问题。大数据不是一个新的问题，而是一个一直存在着的问题。 　　1.1 大数据处理 　　利用强大的支持平台来判断大数据的潜在价值称为大数据处理。根据处理时间的长短，我们可以把大数据分析分为流处理和批处理两种方式。流处理的理论和科技已经被研究了近10年，凭借其自身携带的庞大的数据，流处理可以快速分析数据导出结果，甚至其处理时间已经达到了秒、毫秒的水平。先对数据进行存储在对数据进行分析是批处理中最常用的方式。MapReduce已被广泛应用于生物信息学Web挖掘中，其核心思想是：首先处理已经被分成小块的数据，然后按照其分布方式导出中间结果，从而接连导出最终结果。此外，由于该模型计算机资源接近数据源位置，因此可以很好地避免通信开销。 　　1.2 数据存储 　　为了满足数据平台的数据分析和特征提取，数据存储必须满足以下两个条件：其一，存储的基础架构必须满足永久可靠性；其二，数据存储子系统必须能够查询和分析数据。获取大数据的主要方式有爬虫收集、政府数据、行业数据等。总结一下获取的方式就是程序员自身的积累再加上各个渠道内的收集。 　　1.3 数据分析 　　作为价值链中最重要的阶段，数据分析旨在提取数据价值以便帮助人们做出决策。以下为3种常用的数据分析的方式：其一，数据可视化。通过图形有效的传递信息是数据可视化的根本目标，随着数据量的增长，传统的电子表格已不能满足大数据时代的要求。由于它可以帮助软件开发、算法设计等方面的研究，可视化大数据已成为一个越来越活跃的研究领域。其二，统计分析。在应用数学中，每件事物都存在其随机性和不确定性，而统计分析对大数据集进行描述和推理的过程。其三，数据挖掘。目前，人工智能、机器学习等相关领域均已提出了各类数据挖掘算法。数据挖掘是大数据发现模式的过程，数据挖掘算法是数据挖掘的过程中的重要课题。对于IT工程师来说，每次新技术的发展所带来的海量数据对他们来说除了机遇便是毁灭。因此，他们必须时刻保持着足够的热情和耐心才能在数据到来的时刻不被时代所淘汰，并能够引领时代的发展。 　　2 大数据技术发展新趋势 　　在数据持续增长的今天，开放共享成为了数据资源在数据大战中持续保持优势的关键。各类数据的共享使用不仅极大地方便了我们的日常生活更为各种产业的发展提供了机遇。但由于政府和企业之间没有统一规范标准，就很容易降低数据的开放程度，引起商业垄断的现象发生。而且现阶段的数据安全数据质量方面都存在很大的问题，能够熟练掌握大数据的专业人员也很少，大数据人才市场的匮乏直接影响了大数据未来的发展趋势。笔者认为未来大数据的发展趋势主要体现在以下几个方面。 　　2.1 数据资源化 　　随着大数据的发展，很多商业机构都对大数据表现出了相当浓厚的兴趣，大数据成为当代企业抢夺的新焦点。《华尔街日报》中就曾指出大数据是想黄金、货币一样的新的资产类别。谷歌、百度、腾讯等企业都通过利用大数据取得了事业上的成功，而金融电信等行业也在通过不断地利用大数据来提升自身的竞争力。我们可以相信大数据将在不久的将来成为个人的资产，成为企业竞争的有力武器。数据资源也可以解决