视频监控系统云存储的介绍(课堂PPT).ppt

* * * * * * * * * * 这是一个大数据的时代 大数据时代的4V特征 Volume 海量数据 从TB级别，增长到PB级别 Variety 数据种类繁多 有各类文本、图片、视频等数据， 而且非结构化数据越来越多 Velocity 实时性 海量数据需要快速的处理和检索 Veracity 真实准确 利用数据挖掘和分析得出真实准确的信息 大数据时代，对存储系统提供更高要求 大容量 高效率 高可用 大数据时代,现有存储系统面临的难题 以智慧城市的建设为例…… ① 海量数据存储，如何统一管理和统一调度 数以万计的监控点，存储容量已经达到PB级别 智能分析抽离出的图片、文字、摘要视频等，数据种类多种多样。 白色小型车 沪FW6461 逆行 闯红灯 红色上衣 红色小型车 人员聚集告警 人脸抓拍图片 黄色衬衫 行车轨迹 北纬31°.3′ 东 经120°.6′ 除视频监控数据外，各类应用系统的数据也需进行融合 移动警务 图像资源信息库 车牌信息数据库 移动警务 人员信息数据库 移动警务 在并发读写时，存储设备的性能瓶颈在控制器或ＣＰＵ处理能力上。为提升并发处理能力，必须不断的进行硬件升级。 ② 大容量并发读写，设备性能成为瓶颈 存储设备 300路高清 存储设备 200路高清 存储设备 100路高清 单台最大并发处理能力 升级CPU 升级内存 ③ 设备故障须及时修复，维护成本激增 硬盘 存储设备 硬盘 硬盘 硬盘 硬盘 硬盘 硬盘 硬盘 热备 硬盘 硬盘 硬盘 RAID 硬盘 硬盘 硬盘 某块硬盘发生故障时，例如RAID５，只允许设备中有一块硬盘失效。而RAID恢复时间往往需要十几个小时，期间再坏盘，就无法恢复了。因此，需要立即更换或修复故障硬盘。 存储设备３ 存储设备２ 存储设备1 某台设备发生故障时，虽可以用负载均衡技术分担给其它设备，但需要立即更换或修复故障设备，否则存储于其中的数据无法读取。 故障 故障 容量达到“PB”级别，维护就成为最大的难题 NAS存储设备 NAS存储设备 NAS存储设备 卡口平台 监控平台 IP SAN存储设备 IP SAN存储设备 IP SAN存储设备 图像资源数据库 NAS集群存储设备 NAS集群存储设备 NAS集群存储设备 ④ 不同的应用系统间数据难以融合 各个应用系统，都建设独立的一套存储调度系统，可移植性和重复利用率较差。而且，不同的应用系统需要各种类型的存储系统，NAS、IPSAN或集群NAS，难以融合。 如何解决些难题？ 海量数据存储，如何统一管理和统一调度 ② 大容量并发读写，设备性能成为瓶颈 ④ 不同的应用系统间数据难以融合 ③ 设备故障须及时修复，维护成本激增 云存储应运而生…… 概念篇 只在此山中，云深不知处 什么叫做”云”？ 使用者按需获取资源，无需关心资源在何处，如何构建。 —— 就像从“云端”获取资源 云 Cloud 像是拧开水龙头取水，打开开关获取电一样便捷，用户也可以方便的使用“云”资源。 什么叫做”云”？ 什么是云存储？ 用户按需使用存储资源，无需关心存储设备在何处，如何构建。在视频监控领域，云存储作为基础资源，其“用户”为各类业务系统。 云存储 Cloud Storage 卡口平台 视频监控平台 图像资源数据库 统一数据平台 智能应用系统 高可用性 海量存储 高性能 统一访问空间 高可靠性 弹性伸缩 难题的解决之道 海量数据存储，如何统一管理和统一调度 ② 大容量并发读写，设备性能成为瓶颈 ④ 不同的应用系统间数据难以融合 ③ 设备故障须及时修复，维护成本激增 提供分布式文件系统，数据调度与存储分离 ② 将单打独斗升级为团队作战 ③ 由及时维护转变为定期维护 ④ 将各种数据融合，提供统一接口 架构篇 有形不累物，无迹却随风 存储节点 存储节点 存储节点 存储节点 云存储的系统架构 云存储的系统架构，分为“控制节点”和“存储节点”两个部分。 控制节点 控制节点 控制节点 控制节点采用集群架构，存储元数据，对存储节点进行调度 存储节点对数据进行分布式存储，可进行复制或者RAID备份 注：元数据（metadata），包括文件目录组织、属性维护、访问控制信息、文件操作日志记录、文件到块的映射信息、块当前所在的位置等。 云存储的工作流程 数据 控制节点 控制节点 控制节点 存储节点 存储节点 存储节点 存储节点 网 络 业务系统 申请 调度 调度 备份 同步 云存储系统 3 4 1 2 1 2 3 4 业务系统向控制节点申请存储资源，控制节点回复调度信息 数据经由网络，到达存储节点进行分布式存储 控制节点与存储节点间同步调度与存储信息 控制节点间进行元数据同步备份 存储节点的数据进行复制或RAID备份 存储节点 存储节点 存储节点 存储节