大数据应用架构下视频监控云存储发展.docxVIP

大数据应用架构下视频监控云存储发展 　　大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。视频数据的爆炸式增长，意味着需要投入更多的资源以及付出更多的努力， 视频云存储系统，立足于视频监控的业务模式，在传统IT基于文件存储的云存储模式基础上发展。 　　一、大数据定义以及特点 　　维基百科全书的定义：“大数据是飞速增长的，用现有数据库管理工具难以管理的数据集合。”这些数据包括社交媒体、移动设备、科学计算和城市中部署的各类传感器等等，其中视频又是构成数据体量最大的一部分。 　　据IMS Research统计，2011年全球摄像头的出货量达到2646万台，预计到2015年摄像头出货量达5454万台。仅仅视频监控录像而言，每天的数据量就达上千PB，累计的历史数据将更为庞大，在视频监控大联网、高清化推动下，视频监控业务步入数据的井喷时代。 　　“大数据或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。”维基百科对大数据的定义将大数据的特点阐释得非常清晰：“海量”和“非结构化”。 　　海量 　　IDC研究表明，2012年的数据存储总量约为2.8ZB，2020年数据存储量约为40ZB(1ZB=1亿TB)。数据量正在以 55% 的速度逐年增长。全世界粗略估计有至少有2亿个摄像头在各个角落里静静地看着我们。 　　非结构化 　　与通常讲的Oracle、SQL这类传统的数据中心级的结构化数据不同，视频监控业务产生的数据绝大多数以非结构化的数据为主，信息呈现上为松耦合的关系，这给传统的数据管理和使用机制带来了极大的挑战。 　　海量视频数据的存储和管理（图一） 　　大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于如何让数据会“说话”。如何将海量的数据变成落地民生，进行商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况正是“大数据”盛行的本质。 　　围绕大数据的命题，经过采集后的视频数据通过创建数据仓库，进行数据的分析和挖掘，最终进行可视化的呈现，就是大数据的衍变过程。在大数据的发展趋势下，对海量视频监控数据的存储和管理是当下各大厂商积极探索的命题之一。 　　视频数据的爆炸式增长，意味着需要投入更多的资源以及付出更多的努力，才能在这些体量庞大的数据中寻找到有价值的信息。目前各大厂商也发现单个节点的存储设备无法适应海量的视频监控数据的管理需求，其发展没能跟上数据增长的速度。其实不难发现，视频监控数据和传统的数据中心的结构化数据的业务模型相差较大。 　　恒定码流的高并发写入 　　视频监控数据具有高并发、大容量的特点。以1080P为例，在4Mbps的码率下，中等城市的监控规模一般为数千到数万个摄像头，按5000路计算，并发写入码流为5000路×4Mbps×24小时×60分钟×60秒 。 　　大容量 　　根据公安部要求录像数据在系统中保存30天以上。中等城市的存储容量为：5000路×4Mbps ×24小时×60分钟×60秒×30天。 　　高可靠 　　视频监控存储系统7×24小时不间断的高压力写入的同时，还必须具有高级别的容错性，存储等硬盘类介质属于电子产品，电子产品或多或少都存在软件或硬件的bug，高压力下的硬盘故障率也会比较高，如果保障故障发生时不造成监控数据的丢失，是视频监控存储管理的重要命题。 　　在线升级扩容 　　由于视频监控项目本身在不断发展，系统定期会进行在线扩容和升级，这就要求存储系统具有高度的可扩展性，可在系统中简单便捷地增添存储设备。 　　信息价值 　　海量数据和有效数据之间的矛盾。摄像头7×24小时工作，如实记录镜头覆盖范围的发生的一切，仅仅记录信息是不够的。因为对于客户来讲可能大部分信息是无效，有效信息可能只分布在一个较短的时间段内，按照数学统计的说法，信息是呈现幂律分布的，也称之为信息的密度，通常在最短的时间内提供的数据有效性越高，对客户价值越大。 　　有效信息提取(计算) 　　在视频监控领域，往往视频分析的效率决定价值，更低的延迟、更准确的分析往往是平安城市这类客户的普遍需求。随着数据量的增加，哪怕对TB级别的数据进行对视频内容的数据分析和检索，采用串行计算的模式都可能需要花费数小时的计算，已远远不能胜任时效性的需求。大数据架构下的存储系统还需要考虑后续的计算模式的匹配。 　　视频文件目前绝大多数的系统都是采用文件系统的方式进行音视频数据的存储。文件系统有几个最大的问题： 　　一是文件系统易损坏，写文件会导致文件系统元数据区的频繁持续更新，因此文件系统的元数据区很容易损坏，导致文件系统不可用。