视频大数据存储平台解决方案.ppt

平安城市智慧发展趋势 以某市公安局天网工程为例 海量视频、图像数据的统一存储和快速检索 多节点集群并行工作，保证数据的高安全性 后续可根据需要自由扩展 该市公安局要建设“天网工程”的统一存储系统 针对案件的所有图像、视频数据（涉案人脸抓拍等），在市局统一汇总，永久存储 存储公安局重要信息，对系统安全性的要求非常高 项目概况 提供2000TB存储容量 节点级安全，保证内部重要数据的数据安全 解决方案 客户需求 某市天网工程部署图 1、流媒体高清视频文件对高带宽和稳定的需求。 2、大数据分析：包含检索数据库和海量视频文件资料，检索数据库主要用来关联带标签的分类主题资料和具体视频文件，使用户能快速检索到对应分类的存储位置。 3、云计算虚拟化集群：物理服务器组建成统一的集群计算虚拟机资源池，实现虚拟机的故障转移高可用、负载自动分配资源、对存储高IOPS需求。 4、海量小文件空间数据。 5、跨多中心分布式广域云架构。 平安城市云存储系统五大需求 云和大数据增长对象存储占据 90% 云和大数据未来需要新的存储方式 4X $ 50% Daasbank SDS 创新价值 规模更大 成本更低 更安全可靠 什么是SDS超聚合？ DStore?弹性定义、部署及管理的聚合式云存储平台 采用Block/File/Object统一集群存储架构 服务器虚拟主机可以有多个vPools，高速缓存和无限快照，统一管理异构数据，支持本地文件系统、NAS、块设备、S3 API兼容的对象存储如Ceph，Swift，AWS，分布式文件系统如GlusterFS，XtreemFS等。 无接缝扩充–可扩充到数百 PB，无需再做存储空间预估 Hypervisor DStore? Hypervisor DStore? DStore? DStore? SDS-Kinetic Storage Server Legacy Storage System 依据需求弹性部署 DStore?提供管理者两种模式混合搭配部署: SDS超聚合存储Kinetic DS分布式存储服务器 无缝整合先期投资的传统存储设备，并入成为DStore?管理的共享存储资源池 Daasbank DStore?Shared Storage Infrastructure 创新的云端服务模式提升运行效率及经济性 DStore?让管理者可在共享资源池上为每位使用者建立独立的”虚拟存储设备”(Virtual Storage),并提供用户自助服务功能(Self-service Portal) DStore?多重用户共享(Multi-Tenancy)”的设计满足不同用户对存储的性能、安全、分段、隔离、监管、及QoS等不同需求 ??? SAN NAS S3 CIFS/NFS DStore? Shared Storage Infrastructure virtual storage virtual storage virtual storage virtual storage Dynamic Virtual Storage Provisioning DStore?产品架构 ???? Kinetic DStore? Kinetic DStore? Kinetic DStore? Workloads/Applications VM VM VM Workloads/Applications VM VM VM Workloads/Applications VM VM VM DStore? DStore? Scale-out Interface Amazon S3, WebDAV OpenStack Swift NFSCIFS iSCSI/FC Management Policy Management(Distribution, QoS, Tiering) Monitoring/Alert Reporting AutoRecovery Distribution ObjectDistribution Object Replication Object Rebalance Storage Data De-duplication Data Compression SSD Acceleration 采用Block/File/Object统一集群存储架构 目标应用类型：所有海量数据扩展存储的客户 跨地域数据同步协同： 总公司和分（子）公司间跨地域数据同步。 数据快速采集、分发： 3个副本，分布式部署于不同的Regions。 应用1、支持跨地域分布式存储管理 应用2 支持云备份容灾归档 客户注册、计费及管理 计费 归档 云存储系统 云备份介质 归档数据存储设备 门户 云备份系统 私有云备份客户端 云备份客户端 云网关 混合