第19课大数据与视频监控.doc

第19章 大数据与视频监控 相比云计算及物联网，“大数据”发展稍晚，甚至至今让人摸不着头脑，很多人意识不到其跟安防监控有多少关联，甚至认为大数据是盲目炒作的噱头。 实际上，大数据是真正发挥大规模网络视频监控价值的关键技术，视频监控数据是标准的大数据，而通过大数据存储及分析挖掘，更能发挥海量视频的潜在价值。 需要注意的是，大数据技术主要适用于大型及超大型项目，并且与云技术融合，大数据在视频监控的应用还在探索阶段，具体应用模式有所不同，但是趋势比较明朗。 关键词 大数据的概念 大数据的关键技术 大数据的核心价值 云计算与大数据 Hadoop技术介绍 大数据与视频监控 19.1 大数据概大数据的背景就是“信息爆炸”，随着物联网、电子商务、视频网站、平安城市视频监控、微博、微信等应用的迅速发展，数据信息呈爆炸性增长。 据统计2012年，全球的电脑用户平均每天创造200多亿GB数据；沃尔玛仅每小时处理的客户交易就超过100万次；每天亚马逊上将产生600万笔订单；Twitter上每天发布5千多万条消息；Facebook上的照片有400亿张；YouTube网站用户每分钟上传50小时时长的视频；Google每天处理的搜索量超过30亿次；安装有20万高清摄像头的平安城市，每天至少产生1P的视频数据。这些被学术界分为结构化、非结构化以及半结构化的海量的各类数据，统称大数据(Big Data)。 以往大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，而现在提及大数据，通常是指解决问题的一种方法，即通过收集、整理生活及生产中方方面面的数据，并对其进行分析挖掘，进而从中获得有价值信息，最终衍化出一种新的商业模式。 19.1.2 大数据的定义 大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合，大数据技术被设计用于在成本可承受(Economically)的条件下，通过非常快速(Velocity)的采集、发现和分析，从大量化(Volume)、多类别(Variety)的数据中提取出价值(Value)，大数据融合云计算是IT领域新一代的技术与架构。如图19.1所示。 图19.1 大数据的4V特性 Tera(1012)、Peta(1015)、Exa(1018)、Bronto(1021)。Variety，即大数据具有“异构及多样性”特征，海量数据有不同格式，有结构化(如我们常见的传统数据，还有半结据化数据(如网页数据)、还有非结构化数据，如各类图像、声音、影视、超媒体等)。 第三个特征V是Velocity，即大数据具有“实时性”特征，数据处理及分析需要立竿见影而非事后见效 第四个特征V是Value，即大数据具有“价值性”特征，这是大数据处理的核心及目的。如何从海量、原始的不相关信息(即价值密度较低)的数据，提炼出高价值信息，以进行趋势分析、模型判断、深入挖掘、数据共享，这也是大数据处理的关键及难点。 19.2 大数据相关技术 大数据的基本处理流程与传统数据处理流程差异，主要区别在于：由于大数据要处理大量、非结构化的数据，所以在各个处理环节中可以采用方式进行。。基础技术 Extraction-Transformation-Loading数据提取、转换和加载 数据存取：关系数据库和NoSQL(Not Only SQL )即非关系数据库等。 基础架构支持：云存储(Cloud Storage)、分布式文件系统(HDFS)等。 计算结果展现：云计算(Cloud Computing)、标签云、关系图等。 2. 存储技术 非结构化数据：图片、视频、PDF、PPT等文件存储。 半结构化数据：转换为结构化存储或按照非结构化存储。 3. 分析技术 统计和分析：排行榜、地域占比、文本分析等。 数据挖掘：关联规则分析、分类、聚类。 模型预测：预测模型、机器学习、建模仿真。 4. 解决方案 Hadoop：目前最主流的云计算与大数据开源平台。 19.2.1 非结构化数据 探讨“大数据”概念，需要了解“结构化”及“非结构化数据”的概念，如图19.2所示。 图19.2 不同类型数据结构示意图 结构化数据：行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据，如关系型数据库、面向对象数据库中的数据 非结构化数据：不方便用数据库二维逻辑表来表现的数据，包括各种格式的办公文档、文本、图片、图像及音频信息等。 所谓半结构化数据，就是介于结构化数据和完全无结构的数据之间的数据，HTML文档就属于半结构化数据。80%的数据都是非结构化数据，这些数据每年增长60%； 计算机的存储结构决定其处理结构化数据具有很大优势，例如关系数据库的发展； 非结构化数据进行转换后可利用计算机处理结构化数据的优势及数据库成熟技术； 如果非结构化数