一种面向流数据的分布式实时存储方法.docVIP

一种面向流数据的分布式实时存储方法 　　摘要：随着物联网建设的不断发展，以实时传感数据为基础的各类流数据如何及时快速存储已成为当前急需解决的问题。面对连续不断到达的数据流，数据流存储系统必须及时快速将其存储到持久化介质中。针对这一需求，本文提出了一种基于缓存的分布式实时存储方法DRS。DRS方法依据窗口阈值，不间断地从缓存区接收数据，并结合一致性哈希算法将数据分布存储到数据服务器中。实验表明，该分布式存储方法能够实时地将数据存储到持久化介质中。 　　关键字：流数据；实时存储；阈值；一致性哈希 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）19-0005-02 　　1引言 　　随着物联网建设地不断发展，流数据逐渐成为信息化系统中一类关键数据形式。该类数据如何及时存储已成为当前物联网应用建设中的一个重点。对于实时数据存储系统而言，首先要确保数据及时存储，从而保证数据的实时性。由于数据延迟存储，造成数据处理的非正确性，做出错误的决策。 　　以一个物联网环境下的地铁站交通监管数据流存储任务为例，该任务需要监管以下几类数据：1）客流；2）基础设施：扶梯，售票机，防火设备，照明灯等；3）车流：地铁，公交车，出租车等。收集并将该流数据及时存储。在该背景下，设计一种实时存储方法成为必要。 　　2交通枢纽实时监管系统 　　交通监管系统通过具体设