ROFS文件资料系统介绍.docVIP

实用文案 标准文档 ROFS（Ring Objects File System）文件系统介绍 ROFS文件系统是一套专门针对海量视频录像系统设计的高效健壮的专用文件系统。 传统上的视频录像技术大都采用在普通文件系统上用视频录像文件的方式来进行录像应用，因为普通文件系统固有的特点，导致在做视频存储应用时导致很多问题： 普通文件系统以簇为单位分配磁盘空间，为了空间利用率，簇的字节数一般都很小，文件反复读写/创建/删除导致簇不断被分配和释放，时间稍微一长就会产生磁盘碎片，导致磁盘读写性能急剧下降，严重时甚至会损坏磁盘。 普通文件系统采用元数据来保证数据的一致性，鲁棒性不强，一旦元数据损害，即使数据部分没有损害，也无法还原。而超过100路的并发录像，若使用普通文件系统，元数据损坏的机率极大。 由于文件系统的限制，文件不能太大，也不能太小，一般采用几分钟一个文件进行录像，难以实现检索几秒以前的录像数据，很难支持对正在录像的文件的检索回放。 扫描磁盘文件、清理旧录像、检索等操作效率低下，且格式化非常缓慢。 针对使用普通文件系统的传统上视频录像技术的诸多问题，东方网力公司专门针对海量视频录像应用，开发了ROFS文件系统，有效的解决了上述普通文件系统无法/很难解决的问题。 ROFS文件系统采用完全具有自主知识产权的专有文件格式（已获国家专利）设计，可有效避免磁盘碎片的产生，写数据和清理旧数据时几乎没有磁盘块的分配/释放动作，最大限度的提高了硬盘的读写数据性能，写录像数据的速度比传统录像方式要快很多，磁盘寿命也得到了最大限度的保护（最大限度的减少了磁头移动频率）。使用ROFS录像系统，磁盘可以长时间大压力读写而不会有任何磁盘碎片产生，性能也几乎不会有任何下降。 ROFS文件系统不但拥有最高的磁盘读写性能，而且还有有极高的鲁棒性。系统采用大数据块方式读写磁盘，但以视频帧为单位进行提交，视频帧是一个最小可修复的单位，任何一个视频帧损坏不会影响其它视频帧，所以即使在没有任何RAID防护的情况下的硬盘物理损坏也只会损失非常短的一小段录像，如果是软损坏（程序错误导致的损坏）则甚至只会仅仅损失一帧或数帧(1秒)而已，又因为ROFS为完全自主的文件系统，任何部分数据损坏都不会影响到其它地方的数据（没有破坏的完好数据全部可以修复）。所以ROFS有极高的鲁棒性。 因为以视频帧为基本存储单位，一旦一个视频帧写入完成就立即可以进行检索，采用ROFS的录像系统可以检索到40毫秒前的录像。另外，视频帧的索引内建在ROFS中，所以可以快速地定位到任何一个视频帧立即开始播放，其格式化也非常迅速。 下面就ROFS文件系统的一些技术特征做一个简要介绍： ROFS设备管理层（多分区管理、多线程优化、修复管理、配置管理等） 核心逻辑层（建立在一个单一的流式设备上） 块管理层 组合设备层（可由多个或部分其它流式设备组成） 原始设备层（磁盘设备、各种虚拟设备、普通文件、内存等） ROFS（Ring Objects File System）文件系统是一个基于流式文件支持的以环形队列为基本结构的分层流媒体存储系统，系统分为五层 设备1 设备1 设备2 设备n ROFS分区1 ROFS分区2 ROFS分区n ROFS设备管理器 组合设备1 组合设备2 组合设备n 底层硬件设备 应用软件层 磁盘块管理器 核心逻辑层为ROFS的核心逻辑部分，建立在单一的流式设备上，把空间依次分为以下四部分，如图： 从左到有依次为 超级块区，包括固定块信息和存储区域信息 时间段信息区 数据包（Package）索引区 数据区 概念定义： ROFS存储的最小单元为片（Slice），分为普通片（Slice），关键片（KeySlice）。一般在使用中Slice对应视频帧，KeySlice对应视频I帧。 提交、定位、删除的最小单位为数据包（Package），Package由一个KeySlice和0到多个Slice组成。数据区由首尾相接的Package填充，相邻Package之间无空隙。 索引（Index），记录了Package在流式设备里面的绝对偏移地址（用64位整数表示）。 时间段（Segment），记录了1到多个Package集合的时间信息。 主要数据结构介绍： 1、固定信息块主要字段： +------------+ | | | rofsID | char[16]，ROFS文件系统标识字符串 / ... / +------------+ | | | version | 低UINT32（次版本号） + 高UINT32（主版本号） | | +------------+ | | | alignSize |