面向视频图像的大数据处理平台架构研究分析-软件工程专业毕业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得武汉理工大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 签 名： 日 期： 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定， 即学校有权保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人承诺所提交的学位论文（含电子 学位论文）为答辩后经修改的最终定稿学位论文，并授权武汉理工 大学可以将本学位论文的全部内容编入有关数据库进行检索，可以 采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权 经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学 位论文，并向社会公众提供信息服务。 （保密的论文在解密后应遵守此规定） 研究生（签名）： 导师（签名）： 日期: 摘 要 伴随着移动互联网和传统互联网的飞速发展，每天都有着数量众多的文档、 图像和视频在互联网上出现。目前，互联网上的视频图像数据量已经达到了 PB 级别，而且它们还将会急速地增长,这表明人们已经进入到了海量视频图像数据 的时代。面对数量如些庞大的视频图像数据，传统的平台已经无法对如此海量 视频图像数据进行处理，而且传统的数据库对于视频图像这种非结构化的数据 也不能很好地存储。因此，如何建立面向视频图像的高效且易扩展的大数据处 理平台来满足海量视频图像的存储与管理，并为视频图像的处理提供所需要的 服务，这成为了研究的重点。 面对这个问题，本文设计了一个面向视频图像的大数据处理平台，为海量 视频图像数据提供了存储、计算与检索功能。在这个大数据平台中，主要依据 视频图像的内容特征进行数据的存储与检索。整个大数据平台是由 Hadoop 和 HBase 所组成的，Hadoop 完成对海量视频图像数据的分布式并行计算，而 HBase 则完成对海量视频图像数据的分布式存储。针对图像数据，采用 SIFT 算法来对 图像的内容特征进行提取，并使用局部敏感哈希函数将提取得到的特征描述子 转化为索引，把相似的特征值映射到同一个哈希桶中并对相关数据进行存储； 而对于视频数据，采用颜色直方图的方式来对其进行镜头分割，并对分割后的 镜头进行关键帧提取，随后按照图像数据的处理方式对关键帧进行处理，并把 相关信息进行存储。在检索时，对需要检索的视频图像数据进行特征提取并构 建索引，依据索引在 HBase 数据表中进行检索并将最相似的 N 个结果返回给用 户。 面向视频图像的大数据处理平台采用的是主从式的架构模式来进行搭建 的，使得平台具有很好的扩展性和容错性。在实验中使用视频图像数据对大数 据平台进行性能测试，测试的结果查表明面向视频图像的大数据平台可以有效 地处理海量的视频图像数据，克服了传统数据处理平台的不足之处。而且，大 数据平台可以快速而有效地对平台中视频图像数据的进行检索并返回给用户。 关键字：大数据平台，视频图像，内容特征，Hadoop，HBase I Abstract Along with the development of traditional and mobile Internet, large scale documents, images and videos appear on the Internet. At present, the amount of image and video data on the Internet has reached PB lever and it’s growing rapidly, which indicates that we have entered the era of massive image and video data. In the face of such huge amounts of image and video data, traditional platforms can’t deal with the data any more. Meanwhile traditional databases are disable to store this kind of unstructured image and video data well. Under this circumstance, how to build an efficient and easily-extensible image and video processi