云计算分布式缓存技术在海量数据处理平台中应用.docVIP

云计算分布式缓存技术在海量数据处理平台中的应用 　　摘 要：随着云计算和大数据时代的到来，在满足用户对系统访问量、访问速度、访问安全的要求的同时，系统必须实时准确的处理迅猛增长的海量数据，而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求。分布式缓存技术是最好的高性能缓存解决方案。本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题，分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理。在此基础上，分析并设计了分布式缓存系统的部署和整体架构。并将该分布式缓存系统的设计模式应用在某团购网上，行了POC测试。测试结果证明分布式缓存技术可以缓解服务器的压力，解决海量数据和超高并发数据访问所带来的问题，提升了系统的性能、访问速度、可靠性以及降低响应延迟。 　　关键词：分布式缓存技术；海量数据；分布式内存数据管理；验证性测试 　　中图分类号：TP393.4 文献标识号：A 文章编号：2095-2163（2016）01- 　　Abstract：With the advent of the era of Cloud Computing and big data， massive data increased rapidly must be real-time accurately processed by the system， and requirements of visits to the system、access speed and access security to users are meeted at the same time， but Traditional caching technology cant meet the needs of massive data processing and high concurrent access to the users. Distributed caching t techniques is one of the best solution of high-performance cache.How to solve the problems in the mass data processing platform using distributed cache techniques of cloud computing is researched，and the key technology of distributed cache， consistency of distributed cache and distributed memory data management are also explored. Based on the aboved， deployment of distributed cache system and the overall architecture are analyzed and designed.And the design mode of the distributed cache system is used in the group buying site， and be tested by POC. Test results show that distributed cache techniques can alleviate the pressure of the server， solve the problems of massive data and high concurrent data access， and improve performance and access speed adn reliability of the system， simultaneously reduce the response delay. 　　Key words： distributed cache techniques；massive data；distributed memory data management；POC test 　　0 引言 　　随着云计算的发展，越来越多的企业都会搭建自己的云平台，同时越来越多的应用程序都是以云平台为支撑，为用户提供云服务。随着互联网上应用系统的访问用户增加、某些电子商务网站特定时间的促销活动而引发的特大规模的数据等等，使得在云服务普及推广的同时，数据访问量、访问速度、访问安全的需求都在急剧增加，而云计算的分布式处理、分布式数据库和云存储、虚拟化技术为海量数据进行分析处理提供了技术支持和基本保证。同时用户对云服务的数据提