论“大数据”时代下的海量数据存储技术.docxVIP

PAGE 1 PAGE 1 论“大数据”时代下的海量数据存储技术  对当前整个安防市场来讲，特殊是大公安、大交通、楼宇、司法监所、金融、文教卫、能源项目等行业迅猛发展，甲方客户的需求及大集成商的存储解决方案越来越倾向集中化。  高清、长周期呈现海量存储需求  高清已经在安防行业全面铺开应用。除了带给用户能够看得更清的良好视觉感受外，对存储容量的需求亦成几何式增长。例如：前端IPC有130W到500W像素，码流也从有2Mbps到8Mbps，而一个130W像素，8Mbps码流的前端，录像一个月就需要2531.3GB，数据量不可小觑。  存储周期方面，现在也有了政府的有力推动。如《中华人民共和国反恐怖主义法》规定采集的视频图像数据保存周期不得少于90天；最高人民法院与国家档案局联合发布的《关于人民法院诉讼档案保管期限的规定》更是规定：将法院诉讼档案的保管期限分为永久、长期、短期三种，依据人民法院诉讼档案的特点，凡属本院审判活动形成的需要长远利用的诉讼档案，划为永久保管。凡属在相当长的时期内需要查考使用的诉讼档案，划为长期保管，保管时间为６０年。凡属在相对较短的时期内需要查考利用的诉讼档案，划为短期保管，保管时间为３０年，可以想象，数据量特别之大。  对当前整个安防市场来讲，特殊是大公安、大交通、楼宇、司法监所、金融、文教卫、能源项目等行业迅猛发展，甲方客户的需求及大集成商的存储解决方案越来越倾向集中化。需要保存的数据也成线性增长.应对如此巨大的数据量，数据存储及客户数据快速有效查询就变得至关重要。某公司一直紧跟行业发展方向，致力于推出更符合用户需求与行业需求的监控/数据中心解决方案，  现有的安防存储模式  1.DVR/NVR前端本地存储  此种模式，一般应用于实施较早项目，使用的是DVR/NVR前端本地存储，随着大数据时代的来临，采用了比较直接的方法，在DVR/NVR直接连接扩展柜来实现容量的扩容。原来系统及原数据保持不变。此种模式由于采用DVR/NVR存储容量相对较小，况且DVR/NVR性能较低，信息孤岛现象严重，无法满意大数据需求。  2.集中存储模式  客户数据采用磁盘阵列模式。可以采用在存储节点后直接增加扩展柜的模式，随着集群的推出也可以通过增加存储节点来实现容量增加。相对于DVR/NVR模式，容量大大提升，并实现了数据的集中存储，同时支持存储节点间的故障的自动业务接管，最大程度上实现了业务数据的完整性。但是随着大数据的来临，后续项目扩容时，需要人为配置设备的负载均衡。一台存储故障后导致设备存储的数据部分中断或者接管设备压力较大，另外考虑到网络延时，可能导致存储数据不完整，数据获取需要人为指定设备数据获取，管理成本较高等。为了设备的负载均衡，空间的虚拟化设备易维护的问题，云存储技术应运而生。  3.云存储模式  随着云存储技术普及.目前市面大体分为通用云存储(文件云集群NAS)和视频云存储。  通用云存储  通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中大量各种不同类型的存储设备集合起来协同工作，共同对外供应数据存储和业务访问功能。  通用云存储较传统集中基本设备形态不变，故主要部件为：存储服务器（元数据服务器）+磁盘阵列。  通用云存储中很多都是通过优化改造传统IPSAN/NAS存储而演化而来，其通过实现服务器和存储设备集群化管理，存储资源虚拟化，达到分布式数据存储，因其内部数据处理以结构化数据为主。  工作模式：前端摄像机视频数据流经流媒体服务器转发到存储管理服务器集群，最终在写入指定的磁盘阵列。视频数据需经过流媒体服务器转发进入存储服务器，一定流媒体故障，系统业务中断，数据存在丢失风险。  通用云存储可以实现存储资源虚拟化，但虚拟化能力有限。通用云存储以结构化的文件系统存储非结构化视频图片数据，视频存储效率低。  基于以上几点，通用云存储产品当前都是面向全行业项目支持，主要作为一款存储方案，即不对安防视频应用做应用支撑.不太适合做安防视频整体的解决方案。   对当前整个安防市场来讲，特殊是大公安、大交通、楼宇、司法监所、金融、文教卫、能源项目等行业迅猛发展，甲方客户的需求及大集成商的存储解决方案越来越倾向集中化。  高清、长周期呈现海量存储需求  高清已经在安防行业全面铺开应用。除了带给用户能够看得更清的良好视觉感受外，对存储容量的需求亦成几何式增长。例如：前端IPC有130W到500W像素，码流也从有2Mbps到8Mbps，而一个130W像素，8Mbps码流的前端，录像