大数据时代下的计算机信息处理技术研究.docVIP

大数据时代下的计算机信息处理技术研究 　　摘 要：随着社会的不断发展和进步，计算机信息技术在社会中得到广泛的普及和应用，并在社会应用广泛性不断提升的过程中促使着海量信息的出现。面对庞大而复杂的信息，如何做到有效而正确的处理对数据作用的发挥非常重要，而这一功能实现还需加强计算机信息处理的能力，扩大计算机信息处理技术的应用。基于此，文章从大数据时代的相关概念和时代特点出发，对这一数据时代下计算机信息处理中所涉及的技术进行了分析和探究。 　　关键词：大数据时代；计算机；信息处理技术 　　引言 　　在网络化技术的不断普及中，计算机用户群体的数量也随之不断的增加，这种情况的出现导致计算机在运行的过程中不断的产生大量的数据，促使大数据时代的到来。面对这一发展环境，计算机信息处理技术的发展也显得越来越重要，并向计算机的数据处理能力提出了更高的要求，此时，要想让计算机信息处理技术的发展更好的满足大数据时代的信息处理要求，还需加强对计算机信息处理技术能力的研究，在不断的探索和创新中提升技术水平，促使大数据时代的计算机信息处理技术能够得到更高层次的发展。 　　1 大数据时代和计算机信息处理技术的相关概念 　　1.1 大数据时代的相关概念 　　从大数据的概念出发，所谓大数据就是指数据量非常庞大的数据，它不仅局限在数据信息量的巨大上，还表现在数据信息的复杂化、重复化，以及产生信息的多样化中。现如今，社会虚拟数据化正处于一个快速而不断发展的阶段，在这种社会环境下，大数据的产生是必然的，并显示着比传统计算更多的优势，如低廉的成本、高比率的资源利用率、较快的运算速度等，并在这种庞大的大数据量中显示着各种数据之间复杂的关系。社会生活和生产中，面对各种活动所产生的数据，通过大数据能有效的做好记录与存档，极大的方便了人们在生活和生产中对庞大信息数据的检索和应用。同时，大数据还具有超前的洞察能力和决策能力，数据处理能力是传统数据软件所不能企及的，对人们的生活习惯产生变革性的影响。 　　1.2 计算机信息处理技术的相关概念 　　自计算机在人们的生活和工作中得以应用之后，计算机信息处理技术就在现代办公和企业管理中呈现着一个非常重要的角色，通过计算机信息处理技术，它将数据传输、信息的分析、处理和使用等各种技术结合在一起，极大的便利了数量信息的管理效率。同时，计算机信息处理技术所涉及的领域也比较多。在技术的应用中，它以计算机技术为核心，将传感、微电子、网络工程、通信工程等各种先进的科学技术都进行了综合应用，促使员工在专业社会的协助下，能够将人、软件、硬件进行有机结合，不仅促进着人们工作安排的合理性，还促使着人们办公效率的提升。 　　2 大数据时代下的计算机信息处理技术分析 　　2.1 信息的采集与加工技术 　　大数据来源丰富多样，需要挖掘、分析和存储的数据量异常庞大，要提升计算机信息数据处理的高效性和可用性，需加大对计算机信息采集和加工技术的研究。传统的数据处理方式是以处理器为中心的，这种数据处理方式已经不适用大数据处理，需采取以数据为中心的模式，采取新的处理软件和处理技术，来减少数据处理中因数据移动所带来的开销。 　　大数据时代计算机信息采集和加工过程中，数据处理速度的提升至关重要，这一需求的实现可通过MapReduce技术。MapReduce是一种并行处理技术，将大量数据处理任务并行分配到多台连接的服务器进行处理，扩展性强，尤其适合非结构化复杂数据的混合海量处理。作为一套软件框架，MapReduce以先分后和的数据处理方式为工作原理，分为Map映射和Reduce化简两阶段，Map将海量数据进行分割，交由多台服务器并行处理；Reduce将各处理结果进行汇总，得到最终效果。在对海量数据信息进行分隔、任务分解和结果汇总中，实现着海量数据信息的并行处理。 　　大数据时代，计算机信息采集和加工技术中新方法的应用是多方面的，并体现在不同的信息处理需求中。（1）系统日志采集方法：很多互联网企业用如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等这些分布式架构工具对系统日志进行采集，每秒采集传输速率达百MB。（2）网络数据采集方法：这种数据采集方法主要应用在非结构化数据的采集中，以网络数据采集的模式而言，它主要是通过网络爬虫和网站公开API的方式，从网站中将数据、文字、图片、音频、视频等多种文件或附件等非结构化数据转换成结构化数据并存储在一个统一的本地数据文件中。（3）其他数据采取方法：一般情况下，企业生产经营中的数据和学科研究重点数据，在保密性的要求上比较高，针对这类数据的处理和加工，可采取企业或研究机构合作的方式，采取特定的系统接口展开信息数据的采集和加工。 　　2.2 信息的存储技术 　　计算机网