“大数据”时代计算机信息处理技术探索.docVIP

第 PAGE 第 PAGE 1 页 共 NUMPAGES 1 页 免责声明：图文来源网络征集，版权归原作者所有。若侵犯了您的合法权益，请作者持权属证明与本站联系，我们将及时更正、删除！谢谢！ “大数据”时代计算机信息处理技术探索 现代社会中无论是计算机的硬件设施还是软件的技术水平的提升不断更新换代，大量数据应运而生，数据机构和数据的储存不断的发生着巨大的变化。创新的数据的不断升级为计算机信息处理技术提出了更高的要求，同时带来了更大的机遇和挑战。对于数据处理的准确性和高效性，提供了帮助，进而使他被运用的数量和重视的程度都非常高。 1“大数据”的概念与特点 1．1大数据的概念 大数据时代，信息的数据量不断的上涨，这样等待处理的数据十分庞大，目前的计算机主流软件在短时间内无法实现对其进行获取、处理、存储、传输、管理等方面的功能，它不仅包括数据量大，同时还包括数据比较难以处理、复杂多样，同时在处理的过程中，还会出现数据处理的重复性。对于大数据的数据量大到什么程度，目前还没有一个统一的标准，一般认为数据量在10TB－1PB(1TB=1024GB，1PB=1024TB)以上的数据为大数据。 1．2大数据的特点 1．2．1数量大 大数据的产生是基于大量数据信息处理而产生的，需要运用计算机技术处理数据的量越来越大，从TB及已经发展到PB技术的数据处理。 1．2．2速度快 海量的数据，就需要高速度的对数据进行处理，这样才能满足使用者对信息数据的需求，如果大数据的处理出现滞后，将不利于信息的传播与扩散。 1．2．3种类多 随着信息技术在生活应用中普及，现代人们对信息的需求日益多样化，信息数据的来源也越来越多样化，结构化和半结构化的原始数据也出现了多样化，使得大数据呈现出多样化的发展趋势。 2“大数据”时代的计算机信息处理技术要点 2．1分布式处理技术 分布式数据处理，主要是为了实现数据的分布式存储和处理的一种方式，它是由谷歌公司提出的GFS技术。它采用了存储列的概念，对数据进行存储后以列为单位，这种技术特点是，循环利用的效率比较高，数据信息的压缩比较快，这种存储结构是采用了行列混合的方式，能够快速的缩短数据的查询时间和加载海量数据的实际，更加能够把利用磁盘空间提升到最高。目前，分布式处理技术在百度、IBM得到了广泛的应用。 2．2信息安全处理技术 数据飞速发展的时代，相互关联的数据结构从各种数据信息原来独立的形式中脱颖而出，也正是由于关联结构的影响，无论是那一个数据出现问题，伴随其他数据也会受影响而变化。硬件性能在计算机处理技术中经常会起到干扰问题，在大数据安全管理工作的性能中没有完全得到需求，与此同时，这种方式却为计算机网络技术的发展制造了良好条件。不断的发展的信息安全技术为保证大数据信息的安全提供了前提。单个数据或者是单个数据的基础之上不适合建立对信息的安全管理，最重要的是对整个全面的信息系统进行有效管理，正是这种方式，为计算机信息处理技术带来了很大的发展机遇，与此同时也有一定的挑战。 2．3大数据中的数据存储处理技术 随着网络的日益普及越来越多的内容诸如视频、影像以及虚拟化等等，他们的数据不断的上涨，这是一个巨大的挑战对于存储数据技术而言。在以往的普通数据存储过程中对于计算机网络性能要求并不是很高，因为他的存储量是普遍比较小的，一般的计算机就可以满足这些数据的需求的要求，但是对于出现的非常大的数据而言这样的性能就很难保证存储的效率和容量了。但是如果大数据的存储中应用了普通数据存储技术，那就会造成资源的浪费，所以需要结合当前大数据中的性质特点，对于大数据的存储应该采取新的存储方法大大提升大数据信息的存储中的稳定性和存储信息的快捷性。 2．4聚类分析技术和分类分析技术的特点 在没有明确数据点的前提下，将数据集中在一起分为很多个对象组，然后对每一组对象进行数据分析，进行实现综合去查询数据，这就是聚类分析技术。类分析和聚类分析技术在数据挖掘方面应用的比较广泛。把信息的数据点进行归类总结，在综合数据点之后形成新的数据点，在对他们进行明确的假设和客观结构预测，最终大大预测未来信息的发展的要求，这就是分类分析技术。 2．5数据分析技术 数据分析技术在大数据处理中具有十分重要作用，它是一种应用比较广泛的数据处理技术主要包括了网络的分析技术、空间的分析技术、数据时域的序列分析技术、数据回归的分析技术以及情感的分析技术等等。在这些数据分析技术当中，对自然语言进行编码分析的技术是情感分析技术;在网络的特征基础之上对数据的