面向Redis的数据序列化算法研究.PDFVIP

第27卷摇 第5期 计 算机 技 术 与发 展 Vol.27摇 No.5 2017年5月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 COMPUTERTECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 May 摇 2017 面向Redis 的数据序列化算法研究 孙杜靖,李玲娟 (南京邮电大学计算机学院,江苏 南京 210003) 摘摇 要:为了解决实时计算中半结构化和非结构化数据的存储问题,借助内存数据库Redis可以存储键值型数据和支持全 内存运算的优势,结合文件序列化、图像序列化、JSON序列化和Java对象序列化技术,设计了面向Redis 的半结构化和非 结构化数据的序列化算法。 该序列化算法不仅解决了半结构化和非结构化数据无法直接存入Redis 的问题,而且由于在 序列化过程中实现了对这些数据的深拷贝,使得反序列化可以完美地还原初始数据。 此外,序列化过程还支持通过加解 密来保障数据安全。 基于Storm平台的实验结果表明,所设计的序列化算法快速、有效且性能稳定。 在海量数据实时计算 中,无论使用哪种开发语言,将该算法与Redis数据库结合,既能利用Redis带来的高读写效率,又能存储任何半结构化和 非结构化数据对象而无需重复开发代码。 关键词:Redis;序列化;半结构化;非结构化;Storm 中图分类号:TP391摇 摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2017)05-0077-05 doi:10.3969/j.issn.1673-629X.2017.05.017 Investigation on Data Serialization Algorithm for Redis SUN Du-jing,LI Ling-juan (School of Computer,Nanjing University of Postsand Telecommunications,Nanjing210003,China) Abstract:In order to deal with the problem of storing semi-structured andunstructured data in real-time calculation,a data serialization algorithm for Redisisdesigned.It takesadvantage of Rediswhich can storekey-value data and support full memory operation anduses the technologiesoffileserialization,imageserialization,JSON serializationandJavaobject serialization.Thealgorithmcannotonly solve theproblem that the semi-structured and unstructured data cannot be directly stored into Redis,but also enable the deserialization to re鄄 storetheoriginaldataperfectlybykeepingadeepcopyofthedata.Inaddition,encryptinganddecryptingcanbeaddedtotheserialization processto ensure the security of data.The experimental resultson Storm platform show that theproposed algorithm isfast,effective and stab