大数据背景下计算机信息处理技术初探`.docVIP

大数据背景下计算机信息处理技术初探 　　摘 要随着计算机网络技术的不断发展，各种社交网站，聊天工具、物联网电子商务等已进入并改变了人们的日常生活。同时，也带来了大量的数据量。本文针对大数据在计算机信息处理技术中的应用和发展趋势展开讨论，阐述了大数据的处理方法，处理工具以及大数据时代计算机处理技术面临的要问题及发展趋势 【关键词】大数据 计算机信息处理 云计算 互联网和物联网的发展，使得网络社交圈不断扩大，聊天软件数量迅猛增加，在提高人们生活水平的同时，也带来了新的问题――如何处理海量数据？目前，人类已经进入了信息处理的大数据时代，对于大数据的定义，计算机领域和学术界对其进行了相关的研究，从不同的角度对其进行了不同的划分定义。大数据环境下计算机处理技术是在大数据环境下的一项新技术，具有完善的软件和硬件资源，能够实现很多数据服务功能的设计 1 计算机信息处理中大数据处理方法 在计算机信息处理过程中，针对大数据的处理方法包括：模型建立（流处理模型或批处理模型）、大数据处理流程、大数据处理的技术和大数据处理的工具。下面分别从这几个步骤介绍大数据的处理方法 1.1 模型建立 通常计算机对数据的处理分为串行处理和并行处理两种，对大数据的处理分为流处理和批处理模型两种 流处理模型处理一些响应速度要求比较高的数据。如果数据经过存储后在进行存储时，可能存在经过处理的数据已经不再适应现在的条件，因此对数据的处理就是去了原有的处理效果。流处理技术一般应用在银行等金融领域，这些领域中对信息的实时性要求比较高，因此要求具有较高的数据处理速度，所以采用流处理方式。但是，因为流处理没有对数据进行存储，实时性要求高，所以有时数据的处理速度会受到内存容量的限制。因此使用流处理模型时要根据信息处理的需求对数据结构进行优化设计来提高整体的数据处理速度 批处理模型实现对数据进行存储划分后进行处理。这种处理模式的有点事能够避免在传输过程中，对时间和空间的占有量。两种处理模式都能够对数据进行有效的处理。在实际的需求中，两者不是单独存在的，通常是将两者结合在一起完成大数据的处理过程 1.2 处理流程 1.2.1 大数据提取 对信息进行提出并按照分类进行存储数据提取是首要工作，通过对对象实体和实体之间的关系的分析，得到数据之间的关系，将其组织成统一的结构存储起来。对于数据的提取，目前技术已经相当成熟 1.2.2 大数据分析 按照应用对象对空间和处理速度的要求，选择适合的处理技术对其进行处理数据分析可借鉴一些传统的数据分析方法，比如说数据挖掘和机器学习等。但是通常不能直接拿来用，要进行一些优化处理措施，因为是大数据处理，很多东西一定是不一样的，所以，首先要对大数据进行清理，清理后，应用改进的技术进行大数据的分析 1.2.3 大数据结果展示 将数据处理结果反馈给用户传统的处理结果是以文本的形式进行存储显示的，并且数据量大，关系比较复杂，因此传统的方式不是和大数据结果的处理。针对这一现象，通常使用标签云和历史流等可视化的技术对大数据处理结果进行展示，更好的向用户解释大数据的处理结果 1.3 处理技术及处理工具 云计算指的是一种基于互联网的计算方式，计算和存储的过程不是运行于本地计算机而是在整个互联网中。云计算把原来的由个人电脑完成的私有数据处理任务分给Internet上的全体用户共享中心来完成计算处理工作。这样就实现了计算机软硬件资源的合理分配、安装和维护，用户可以对资源进行充分的共享。对用户来说，不用再对底层的细节发愁，把精力都投放到自己的业务中及降低了成本又提高了工作效率。所以云计算的出现使得计算能力变成了一种商业沟通的最佳方式 目前，比较流行的大数据处理工具是Hadoop，在这个处理工具中包含了所有大数据处理的技术要求，包括操作系统、数据索引查找和数据库等。Hadoop能够针对大数据处理的特点，有效的对大数据进行处理 2 大数据环境下面临的挑战 2.1 数据安全性 海量的数据必然信息繁杂，容易受到不同形式的攻击，并且计算机病毒和网络攻击都会对数据的安全性造成严重的威胁，因此数据安全性对用户来说尤为重要。在传统的数据处理过程中使用流处理模型在内存中直接对数据进行处理数据泄露的风险会增加 2.2 数据的转换 和传统处理方式的区别，是数据类型的变化。并且数据产生的时间和空间也有变化，存储方式也存在差异，因此对大量的数据进行数据存储之前，要对数据的类型进行转换，转换为能够存储的方式进行处理 2.3 硬件节能 大数据存储和处理主要依靠的还是具有高性能的计算机和服务器等。在存储和处理的过程中，对能源的消耗量很大，因此如何在功耗低的硬件上开发，并且升级是制约大数据发