基于物联网海量数据处理的数据库技术分析与研究[权威资料].docVIP

基于物联网海量数据处理的数据库技术分析与研究 本文档格式为WORD,感谢你的阅读。 　　摘 要：随着物联网发展速度的不断加快，对海量数据处理技术也提出了更高的要求。物联网数据具有实时性、海量性与多态性、异构性等特点，因此其海量数据处理技术也具有一定的特殊性。针对物联网海量数据的新需求，本文首先对物联网数据海量性、异构性、数据多维性与数据关联性、实时性与动态化等特点进行了分析，在此基础上主要分析与研究了物联网海量数据处理的数据库技术，包括分布式内存数据库技术与分布式实时数据库技术两种。 　　关键词：物联网；海量数据；分布式内存数据库；分布式实时数据库 　　TP393 　　物联网技术的不断发展为各个领域的数据化提供了可能，在各个领域中的数据量不断增加。随着各个行业业务领域的不断扩大与信息化的不断深入，数据在企业的所有环节中都得到了广泛的应用。用户在对海量数据进行处理与分析的过程中，对实时性与高效性提出的更高的要求。只有提高含量数据处理与分析的实时性与有效性才能够为企业提供更加准确与详细的市场行情，为企业决策提供可靠的依据，在市场竞争中占据有利地位。物联网中各个子系统所产生的海量的、异构的数据都需要进行统一的处理与存储，因此，海量数据处理方法需要实现多个不同网络、数据源与异构的海量数据进行融合与处理。当前，传统的数据处理技术与数据库管理系统（DBMS）已经不能够满足物联网海量数据处理与存储管理的需求了。因此，本文重点分析与研究了基于物联网海量数据处理的数据库技术，包括分布式内存数据库技术与分布式实时数据库技术两种。 　　1 物联网数据所具有的特性 　　物联网（Internet of Things，IOT）指的是在物品上置入内嵌电子标签或传感器，通过这些对物品或者环境的信息进行获取，之后通过无线网络将收集到的信息向后台信息处理系统进行发送，各个信息系统之间通过互联的方式形成网络，通过这个网络实现对物品的跟踪、对环境的监测等智能化管理。 　　在现实情况中，物体在数量方面非常庞大，在形式方面非常多样，而且还一直处在变化之中，外界环境对其造成的影响较大。因此，物联网中的数据具有以下几个方面的特点： 　　1.1 物联网数据具有海量性的特点 　　物联网系统中通常会包含一个或者多个无线传感网络，这些无线传感网络中包含了超多的传感器节点。这些传感器节点持续地产生新的采用数据，而且数据的类型是多种多样的，不仅包括数值类采样数据，而且包括多媒体采样数据。此外，物联网系统中还会将所采集的数据进行一定时间的存储，为原处理的追溯与数据的挖掘分析提供便利。举例来讲，假设物联网系统中包含10，000个节点，每秒钟进行一次存储，每次单点占据10个字符，10年之后物联网系统中所包含的数据量将达到10，000×10×10×365×86400=31，536，000，000，000字节，而这仅仅是较为简单的数值类型数据。因此，物联网数据具有了海量性的特征。 　　1.2 物联网数据具有异构性的特点 　　传感器件在物理特性、产品特性以及系统设计等方面都存在一定的差异性，导致其采集生产的数据在类型、进度与数量方面都存在不同。这就导致了物联网数据存在多种模式，较难进行统一。例如在智能交通中，需要实现的功能包括车辆GPS定位、RFID车牌识别、路况信息、违章电子照相等，在这些功能实现的过程中通常需要种类较多的传感器，导致产生的简单数值类型数据、多媒体图像视频类型数据等异构数据。 　　1.3 物联网数据具有数据多维性与数据关联性的特点 　　物联网数据所具有的多维性特点是其较为重要也是非常必要的特点之一，视域普通的互联网数据进行区分的重要特性。物联网系统在对原始数据进行采集的过程中，默认的状态属性包括time（时间）、space（空间）、devicestamp（设备戳）。此外，物联网的物理对象并不是相互独立的，各个对象之间存在着各种不同的管理属性。例如智能电网中的用户在物理电网中的相对位置会对用户之间的关系和关联程度造成影响。物联网数据与数据属性是一个整体，缺一不可，如果没有数据属性，物联网数据就失去了代表意义。因此，数据的传输、存储与使用的过程中都应该注重属性的完整性与正确性。 　　1.4 物联网数据具有实时性与动态化的特点 　　物联网应用具有非常强的实时性，例如RFID系统、WSN系统等，都是对实时数据进行采集，在一定周期内向服务器进行数据发送。物联网系统中要对某个监控对象在某一时刻的物理状态进行查询时，仅仅依靠某个时间关键词的匹配很难实现，主要是由于数据采集具有一定的周期性。为了提供数据查询处理的有效性，应该将监控对象的采集数据形成数据序列，对监