基于大数据的信息系统关键技术研究.docxVIP

基于大数据的信息系统关键技术研究 随着我国网络技术的发展，其已逐渐的深入到我们的日常生活和工作中，成为了必不可少的一部分。目前各种信息的汇集，都已经让数据共享到每一个行业中，标志着大数据时代的到来。在这样的背景下，一定要重视大数据信息系统的关键技术，以此来推动大数据时代下各个行业的发展，促进我国社会的发展。 1 大数据的相关概述 1.1 大数据的概念 大数据主要是指海量的数据系统，利用计算机将其收集、整理以及分析。在互联网行业中，其主要是指信息数据的流通，将其应用到人们日常生活的领域中，就是需要对其进行收集、整理以及分析等，从能做出最正确的判断和决策。 1.2 大数据的特征 大数据视角下，数据具有价值密度低、速度快、时效高、以及类型多的特点。首先，在大数据视角下，信息的收集速度和处理速度不断的加快，因此相关人員必须要有极强的信息收集能力和信息处理能力。其次在大数据视角下，信息共享的会更加的方便，因此相关人员必须要重视团队的合作，及时的掌握最新的相关技术，如云端储存、云端共享等。同时大数据视角下，还要重视数据的挖掘、分析，因此大数据下，各种信息都能得到很高的融合，使得信息管理的范围就会特别的广，因此各种信息必须要做到专业。 1.3 大数据的技术 （1）数据采集技术。大数据信息的数据采集技术，主要是从不同的数据库信息接收信息，如产品客户端、网络站点、以及传感器等。在采集过程中，常常会遇到高并发数的问题，因此为了提升其分析效率，需要导入分布式数据库，其可以满足不同数据的采集需求和传输的需求。（2）数据存储技术。大数据下的数据存储模块中主要是应用Pastgre SQL，这种技术以人机互动为目标，满足了使用者的所有存储需求。也有的企业会使用SQL Server来进行数据的存储，但是其属于存储的格式，可以用来更改、删除数据库信息，不能统计和分析信息。（3）基础架构技术。目前数据存储过程中，数据重复率将近90%，因此为了删除这些重复的数据，出现了基础架构技术，也就是分布式重复数据删除技术。其由客户端、元数据服务器以及数据服务器，其中客户端，主要是用来对外信息的交互，并在交互过程中对信息进行预处理，如提取指纹、划分数据块等。而元数据服务器主要是用来维护管理元数据的存储和集群，用来均衡负载。而数据服务器主要是用来引擎数据、存储数据以及管理数据。（4）数据处理技术。数据处理技术主要是处理信息，让其产生商业技术。其起源于hadoop数据处理架构，采用的是分布式文件系统HDFS，其可以处理千兆以内的数据，主要是通过服务器来分布数据和处理数据，但是这种处理技术比较低效，而且编程也比较复杂。因此又产生了Skytree结合机器学习算法，其可以对信息进行高级的分析，目前已广泛的应用在预测分析、市场细分以及异常识别等领域。同时还有Spark，一种基于Mapreduxe算法的分布式计算方式，其可以对数据进行高效的运算，也可以更好的用来挖掘信息。 2 基于大数据的信息系统关键技术分析 2.1 分布式文件管理技术 大数据的基础就是存储数据和管理数据，目前基于大数据的信息系统关键技术的分布式文件管理技术已广泛的应用在各大企业中。如Google提出的GFS文件管理技术，采用了价格比较低廉的服务器，又设置了一个具有高拓展性的文件管理系统，以此来将信息存储到不同的服务器中，在通过共享、连接等方式来对数据进行管理。 2.2 分布式数据处理技术 大数据下采用分布式数据处理技术，可以为用户提供跨越时间、空间的服务，用户可以随时来对信息进行检索和分析，该技术分为批处理技术和流处理技术。其中批处理技术是先将处理的数据存储起来，然后在按着一定的方式将其进行分割，并交给多个服务器来进行处理，其淡化了数据之间的关联关系，提高了数据的集群性。而流处理技术，主要是实时的进入处理系统来对数据进行处理，并将处理结果反馈回去，有效的提高数据处理的时效性。 2.3 分布式数据库技术 分布式数据库技术也是大数据下信息系统中常用的一种技术，其主要是用来管理数据库。大数据下数据库不但容量大，而且数据类型也比较大，因此在处理过程中难免会有一些差错，在加上大数据的价值密度比较低，因此必须要做好数据库的管理。分布式数据库技术主要是采用了模型来对数据信息进行管理，其将所管理的信息看成一串字符，但是不直接对字符进行解释，有效的简化了数据库系统。 3 结语 综上所述，大数据信息系统下，其关键技术可以有效的做好数据的挖掘、分析、以及处理，从而为相应的人提供数据上的参考。未来随着我国信息技术的发展，相信大数据下信息系统的关键技术，还会不断的优化，以此来为每一位用户提供针对性的服务。