基于Hadoop大数据技术视频监控系统设计.docVIP

基于Hadoop大数据技术视频监控系统设计 　　摘 要：大数据时代，“信息爆炸”给传统的视频监控提出了巨大的挑战，随着科技的发展，采用以Hadoop大数据技术的视频监控系统可以克服传统视频监控所带来的问题，数据分析和数据挖掘的利用在不同领域改变着我们的生活。 　　关键词：Hadoop；大数据；视频监控 　　1 大数据的背景 　　Google研发的计算机AlphaGo战胜了韩国棋手李世石，这件事不仅是人类在机器智能领域取得的一个里程碑式的胜利，而且标志着一个新的时代――智能时代的开始。 　　计算机之所以能战胜人类，它不是靠逻辑推理，而是靠大数据和智能算法。在数据方面，Google使用了几十万盘围棋高手之间对弈的数据来训练AlphaGo，这是它获得所谓的“智能”的原因。这些算法已经在其他智能应用的领域获得了成功。今天，计算机已经开始完成很多过去必须用人的智力才能够完成的任务，比如：医疗诊断，阅读和处理文件，智能电网，互联网，智能交通、提前预测犯罪行为、怀孕预测等等。 　　2 大数据关键技术 　　网络视频监控实现最大的价值主要是利用大数据技术，其大数据的来源是视频监控数据，采用数据分析和数据挖掘的技术，可以更大程度的实现其潜在价值。大数据的基本处理流程与传统数据处理流程有一定的差异，主要区别在于：因为大量的非结构化数据的存在，大数据就要在每个部分利用并行处理、分布式存储（HDFS）等技术来处理。大数据所采用的关键技术包括：数据采集技术（ETL）、分布式文件系统（HDFS）、分布式数据库（HBase）、并行计算处理（MapReduce）、大数据的内容分析等。如图1所示。 　　3 Hadoop大数据技术 　　Hadoop作为开源分布式存储和计算平台，应用非常广泛，百度、亚马逊、Facebook、淘宝等都在用这项技术，HDFS分布式文件系统和MapReduce分布式计算技术都是通过Google产生的，Hadoop是它们的开源平台，不论是分布式存储，还是分布式计算架构都要是高要求、高标准，高可靠性、高性能的。 　　Hadoop的分布式文件系统HDFS主要负责各个节点的数据存储，实现高效的数据读写过程。首先，一个应用程序被Hadoop的MapReduce编程模型和框架所分解，变成众多微小的工作单元，然后将这些微小的单元分配到集群节点执行，在MapReduce架构下，一个准?涮峤坏挠τ贸绦虺莆?作业（Job），从一个作业划分出的、运行于各个计算节点的工作单元称为任务（Task）。 　　Google的MapReduce模型是由Hadoop来完成的，Google的MapReduce最开始用在的地方是在搜索引擎里的并行计算，它的两个主要部分是：Map（映射）和Reduce（化简），MapReduce就是由这两个词组合而成的，因此就变成了一个分布式计算框架。在实际过程中，并行计算非常繁杂，而且有些还是运行在庞大的集群上，所以MapReduce就可以将他们抽象出来到这两个函数中，Map和Reduce进行下一步的处理。MapReduce工作思路是将未处理的数据集（或任务）分解为多个小的数据集（或小任务）然后发送到集群节点中执行，每台计算机节点再处理自己的那部分信息，MapReduce则迅速整合这些反馈并形成答案，简单说就是任务的分解和结果的合成。如图2所示。 　　输入数据-Map分解任务-执行并返回结果-Reduce汇总结果-输出结果 　　4 大数据与视频监控 　　目前全国各个城市都建设了大量的视频监控系统，如何在海量的摄像头及录像数据中预防、发现、调查恶性事件变得非常重要。行业预期通过对视频数据进行分析，挖掘视频数据中可疑人员的人脸、行为轨迹、动作、打扮及车辆车牌、车身颜色、号码、轨迹、违章等信息，以实现对未发事件的提前预防、正发生事件的应急响应及已发事件的快速调查。 　　海量和非结构化数据是视频监控数据的两个核心的特征。随着视频网络化、移动化、高清化、数字化的发展，视频监控数据是越来越巨大，而且是呈指数级别增加的趋势。以音视频及图片为主的非结构化数据增长的趋势尤为明显，传统的视频监控数据管理越来越难以满足这个时代大数据的要求。 　　4.1 高清视频监控尚存在的问题 　　4.1.1 海量数据如何存储和拓展的问题 　　视频监控系统24小时工作的特征使其源源不断地产生大量数据，高清视频监控系统视频数据流量更大，传统集中存储模式下，需要基于现状并考虑未来一段时间扩展需求进行部署，这样的部署不利于系统后期扩大存储的设计。视频监控系统的存储和拓展必须能够随着技术的进步而动态的，而且可以保持现有的系统不容易损失严重。存储若采用分布式存储架构，则可以进行灵活地扩展部署。 　　4.1.2 海量数据如何计算和分析的问题 　　海量视