大数据时代计算机信息处理技术初探.docVIP

大数据时代计算机信息处理技术初探 　　摘 要：“大数据”对数据挖掘、IT产业、经济发展和人们的社交网络活动等都是一个难得机遇，但同时也是对计算机信息处理技术的一个不小的冲击和挑战。本文分析了“大数据”对计算机信息处理技术的影响，并对“大数据”下的信息处理关键技术以及改革发展方向进行了探讨。 　　关键词：大数据；计算机；信息处理技术 　　中图分类号：TP274 　　随着计算机技术和网络技术的不断普及，人们进入了“大数据”的时代。当前有越来越多的人们通过网络协同开展工作，这不仅会产生对数据的海量需求，也间接造就了网络上非常巨大的信息量，这是自计算机诞生以来，信息处理领域中所前所未见的。诚然，这对数据挖掘、IT产业、经济发展和人们的社交网络活动等都是一个难得机遇，但同时也是对计算机信息处理技术的一个不小的冲击和挑战。 　　在“大数据”时代下，每天都会产生海量的信息数据，而且这种数据量会随着时间的推移而不断积累，传统的计算机信息处理技术已经难以适应数据规模不断增长的处理需求，只有对计算机信息处理技术不断进行创新和突破，才能跟得上时代发展的脚步。本文分析了“大数据”对计算机信息处理技术的影响，并对“大数据”下的信息处理关键技术以及改革发展方向进行了探讨。 　　1 “大数据”对计算机信息处理技术的影响 　　“大数据”是计算机网络普及到一定程度后的必然产物，它最核心的理念是：“一切都会被数据化”。就目前的计算机信息处理技术而言，很多成熟的数据处理平台都无法在短时间内完成对海量数据的存储、处理和管理，更谈不上给用户提供有效的数据分析和应用功能。每天计算机网络中都会产生大量的数据，而这些数据如果不能被安全、有效的提取出来并加以利用，那么就是对信息资源的一种极大浪费。“大数据”的一个首要特点就是数据规模特别巨大，有别于传统数据处理平台的小规模数据处理，“大数据”对信息系统的大规模数据处理能力提出了更高的要求。此外，“大数据”的一个另外特点就是快速化，在网络当中，有很多数据都是在实时更新的，这就需要信息处理技术不但要具有处理大规模数据的能力，还应具有较高的处理速度。当前对“大数据”的处理问题上，有很多技术被不断提出，并且也出现了一些已经能够被商用化的处理系统，但总的来说，与“大数据”时代对计算机信息处理技术的要求还存在不小差距。 　　因为“大数据”时代的到来，计算机信息处理技术被推向了改革的命运。各行各业在面对海量信息数据时，要么能从中提取出有用的关键信息量而走向繁荣，要么就可能会因为不善于挖掘大数据背后隐藏的规律而遭到淘汰。在“大数据”时代下，人们只有根据本行业的特点，不断更新变革信息处理技术，使之能够更快、更准确地完成对海量信息的分析和处理，以提取出对我们有用的关键特征，才能更好地推动行业发展，并进一步推动整个社会进步。 　　2 “大数据”时代的计算机信息处理关键技术 　　“大数据”的应用核心是从海量数据中分析出数据背后所隐藏的规律，进而提取出与用户需求相匹配的关键特征以辅助设计、生产、服务和决策等需求。在解决好数据分析前，最主要的是要解决好超大规模云系统的构建和存储，以及自动化资源部署分配等问题。因此，“大数据”除了需要仔细研究其体系结构外，还应该加强对虚拟化技术、高性能的云存储和云计算技术、自动化资源调度技术以及相关的数据安全技术等方面进行突破。 　　2.1 虚拟化技术 　　虚拟化技术是指通过利用虚拟的信息网络资源对数据进行存储和管理，由虚拟化技术构建的“大数据”信息处理技术一方面可以对当前的信息存储资源进行优化配置，方便对海量数据的存储；另一方面可以通过灵活调度信息处理单元来提高对大规模数据的处理能力和效率。可见，虚拟化处理技术是“大数据”下的信息处理关键技术。 　　2.2 云存储和云计算技术 　　云存储实际上是由多个存储单元组成，它通过集群功能、分布式文件系统等功能联合起来协同工作，以共同对外提供数据的存储和管理服务。由此可知，云存储技术就是应“大数据”时代而生，它对解决海量信息数据的存储管理需求提供了一个最佳的解决方案。因为云系统需要同时满足大量用户的需求服务，而这些服务往往又牵扯到对大规模数据的高效处理和分析，所以仅仅具有数据的存储和管理功能还不够。为了解决数据的处理和分析需求，云计算技术也应运而生。云计算技术与传统信息处理技术的最大不同之处在于其具有分布式计算的特点，通过整合和调配整个云系统所能调用的数据计算单元，从而可以快速完成对海量信息数据的计算处理，这对提高“大数据”下的数据处理效率而言是必不可缺的。 　　2.3 自动化资源调度技术 　　“大数据”系统在提供服务时，需要对数据的存储和计算等资源进行优化配置，所以离不开自动化资源调度技术。所谓资源调度就是将信息资源进行合理的配置和整合，以更好地