面向高清视频监控的流存储系统设计与实现-计算机系统结构专业毕业论文.docxVIP

摘要 摘要 I I 摘 要 近年来随着视频监控技术的发展，视频监控数据的存储与处理已成为智慧城 市，智慧交通应用中的关键问题。现有的视频监控存储体系架构在应付数量越来 越多的高清摄像头上已显得力不从心。在多达上千路高码率视频流的长时间并发 写入的场景下，现有的存储系统中磁盘 I/O 吞吐率已称为严重的瓶颈，随之而来 的还有巨大的能源开销和磁盘损耗。这些都是现有的监控视频存储方案中亟待解 决的问题。 针对这些问题，本文结合当前国内外在海量数据存储方面的研究现状和发展 方向，通过分析视频监控数据存储特点和结合现有存储系统架构资源调度方式， 设计并实现了面向海量高清视频监控的流存储系统 SSTORE，并以此为背景对其 内部专门针对监控视频流数据存储所设计的分布式文件系统 SFS 进行了充分阐 述。本文主要工作与创新点有以下几点： 1.设计了磁盘分区连续存储模型 CSM。该存储模型通过多流并发随机写入调 制和分块内存缓冲技术，将磁盘上的并发随机写转换为顺序写，饱和利用磁盘 I/O 吞吐率。 2.通过采用 epoll 异步事件驱动模型来处理网络 IO 请求，极大提升了系统网络 IO 性能。同时设计了线程池结构来实现系统任务调度和网络数据写入与磁盘数据 写入的异步操作，增加系统并发处理能力。 3.设计并实现了一种基于 CSM 分区的离线复制机制和磁盘工作调度机制，提 升系统运行过程中休眠磁盘所占比率，延长磁盘使用寿命并降低能源开销。 4.设计了灵活的副本冗余机制，针对同一块磁盘不同分区速率的差异，让这 些分区上的数据备份具有不同的保存周期。充分利用磁盘分区性能的同时，保证 了数据的可靠和可用。 本文最后通过系统测试对 SSTORE 的存储性能进行了验证，并与现有常见的 视频监控存储系统进行了对比。性能分析显示，SSTORE 系统在存储服务性能上 具有较大优势，能满足海量高清监控视频流数据的存储需求。 关键词：高清视频监控、高并发、连续存储模型、磁盘工作调度 II II ABSTRACT ABSTRACT With the development of intelligent transportation technology, high-definition data storage and processing of massive amounts of video surveillance have become key issues. Given the way that thousands of high-bit-rate video streaming concurrently writes, disk I/O throughput is becoming a bottleneck. This then leads to serious energy consumption and disk abrasion. In order to solve these problems, considering the current research status and development trend of mass data storage in domestic and foreign, after analysising the characteristics of video surveillance data storage system architecture and integration of existing storage resource scheduling, this paper designs and implements a massive high-definition streaming video surveillance storage system SSTORE. And fully explained its internal distributed file system SFS which designed specifically for surveillance video stream data. The main innovation work are presented as the following: Design the Continuous Storage Model (CSM) on disk partition, which is an optimized data storage model, in order to adapt to surveillance video data storage’s sustained, stable, and p