海量图片去重算法研究-计算机科学与技术专业论文.docxVIP

摘 摘 要 随着网络时代的发展，人们对信息资源掌握的增多，导致需要存储的数据量 以几何级数在增长，网络带宽的不足、存储资源的紧缺以及等等诸多问题随之而 来。解决这些问题的有效手段是清除重复数据，保证数据不存在冗余。而图片作 为众多数据中的一种，经常出现在手机、网页这些人们日常使用的工具当中，其 量级之大给存储设备带来极大的困扰。 常用的清除重复数据的方法有文件级去重技术和块级去重技术，但是由于图 片存在不易修改的特性，若采用文件级进行去重，耗时长、对系统性能损耗严重； 又因为图片具有任意性，若采用块级进行去重，块的大小无法准确的适应每种图 片，容易出现删除错误等严重问题。所以建立一种简单有效的图片重复删除技术 成为科研人员的研究重点。本文提出了一种能够高效对海量图片进行去重的算 法，该算法主要利用图片本身固有特征判断重复。利用图片本身特征能够克服块 级去重时由于块大小无法适应所有图片导致其删除错误等问题，同时采用并行化 计算及快速定位重复方法能够克服文件级去重时耗时长等问题。 本论文首先介绍了清除重复数据的研究背景及意义，对常用的清除重复数据 的技术进行了简介。由于这些方法对重复图片删除有一定的局限性，而本论文提 出的方法主要利用图片本身特征，为了准确、高效的提取图片特征，对常用的图 片特征进行了描述。其次，根据提取的特征，建立了多特征综合图片离线去重算 法，通过对该算法的两次改进，使得其在单机i5处理器条件下处理500万级图 片量时仅需要10分钟左右。然后，根据多特征综合离线去重算法的思路，提出 了多特征综合图片在线去重算法。该算法利用对原始图片集进行分组从而能够降 低新图片匹配等计算量的思路，实现了在新图片集为50万时，处理时间在25分 钟左右，该算法为图片在线去重提供了解决思路。 最后，将海量图片并行化去重算法思路进行了推广，将其应用在海量无声短 视频去重研究中，经实验发现，对20万无声短视频进行去重时仅需要7—8分钟， 去重时效性大大提高。 关键词：重复图片去重；海量图片；图片特征； 万方数据 ABSTRACTWiul ABSTRACT Wiul the development of Cyber Time．people call have more information．It causes the amount of data that needs to be stored is growing in geometric progression． So，there are a lot of problems that need to be solved，such as the shortage of network bandwidth and storage resource，the rising in management cost etc．The effective means to solve these problems is to clear the duplicate data,that is，to ensure these data is not redundant．And the images as a large number of data often appear in those tools of people’S daily use，such蕊mobile phone，web pages ete．The seas of images have been the great distress to the storage devices． There are two colnnlon methods to delete duplicate data：one is Whole File Detection；the other is Block File Detection．But，because the image can not be modify easily，if it deletes duplicate data by Whole File Detection，the computer needs a lot of time to compute it，and if it deletes duplicate data by Block File Detection，because the Block can not be easily to adapt every images，there is also a problem that it may happen the mistakenly dropped．For the storage devices，mistaken is ver