《数字图像处理》大作业2014年春.docVIP

《数字图像处理》大作业—2014年春 1 作业内容 基于查询例子的图片检索2 作业数据集 CIFAR-10数据集[1]，60000张图片集（10个类别，每个类别10000张图片），数据集上需要同时考虑检索的准确率MAP和检索的效率。CIFAR-10数据集请从参考链接[1]中自行下载。 3 底层特征 在本次大作业中，请大家查阅相关资料, 至少要用到以下特征： 边缘直方图 (Edge Histogram) 灰度共生矩阵 (Gray Level Co-occurrence Matrix) SIFT (Scale-invariant feature transform) 除上述3种特征外, 请至少实现一种形状类特征(例如Hu不变矩, Hough变换等)和一种颜色类特征。 【建议】可以尝试多种途径来提升该特征的效果(例如，可以对图片分块分别提取特征，然 后将各块的特征向量拼接起来)。尝试其他种类的。【建议】在对不同的底层特征进行融合的过程中，观察不同的底层特征之间的互补关系，并 分析其中的深层原因。 4 检索方法和索引结构（重点） 通过索引结构进行检索：首先根据底层特征，为图片集中的图片建立索引结构，然后对查询图片进行检索，返回最相关的1000张图片（组成的有序列表）作为检索结果。 CIFAR-10分为测试集和训练集，都带有类别标注，测试集总数有10000张，仅需使用测试集中的200张来进行查询（-10总共包含十个类别，每个类别随机抽取20张图片作为查询，测试集的其余图片加入到训练集中作为检索时的库），得到200次查询结果，用于评测。【建议】请在实验过程中注意比较各种底层特征和相似度计算方法之间的优劣关系，并尝试 将多种底层特征或相似度计算方法进行融合来获取更好的结果。其中相似度计算方 法可以考虑余弦相似度、L1距离、L2距离、直方图相交等。 【建议】关于索引结构，高维特征的索引结构最常见的是LSH（Locality Sensitive Hashing），可以根据自己的特征和算法选择合适的索引结构。 5 结果评测指标 5.1 准确率 采用MAP（Mean Average Precision[2]）作为评测指标： 对于一个查询图片，检索的结果是由n张图片(小数据集100张，大数据集1000张)组成的有序列表； 将与查询图片属于同一个类别的图片标记为相关，否则标记为不相关； 然后计算AP（Average Precision）；计算检索列表的AP比较耗时，所以这里只计算前结果的AP，分母固定为） 对于全部图片的AP求平均，即计算MAP。 5.2 速度 提供每张图片检索的平均速度，以秒为单位。 6 程序界面要求 图形界面：实现一个图形化的界面用来展示图片检索结果。 从该界面中可以按类别浏览整个图片数据集； 当选定其中的一张图片时，可以以该图片作为查询图片进行检索； 可以对检索结果进行展示，并标明检索结果中每张图片是否相关； 可以计算检索结果的AP（对于单个查询图片），并标明检索时间； 可以进行批量检索（采用图片集中的每一张分别进行检索），同样标明MAP和检索时间。 【建议】以上只是初步的要求。请认真进行设计，制作实用、简明、美观的图形界面。 7 作业提交方式 本次作业至少需要提交以下内容： 提交内容 详细要求 作业文档 详细介绍采用的图片检索方法，包括使用的底层特征、检索方法和索引结构的细节、最终的图片检索结果等。 程序源代码 相关程序的全部源代码，要求能够正常编译和运行；如果程序中使用了网上的开源代码，请同时提供下载地址。 程序说明 详细说明如何编译源代码、如何运行图片检索程序、如何评测检索结果。 助教将根据“程序说明”编译你提交的源代码，并重新运行图片检索程序，如果出现代码无法编译、运行出错、运行结果与作业文档中的结果不一致等情况，在正常评分的基础上将酌情减分。 【注意】类别都是已知的，但是仅能用于MAP值，不能直接或间接的利用类别信息来辅助检索，检索时只能图片的底层特征对应的检索算法。参考资料 [1] /~kriz/cifar.html [2] /wiki/Information_retrieval#Mean_Average_precision