VALSE2017-媒体分析与计算实验室.PDFVIP

VALSE 2017 Annual Progress Review Series 细粒度图像分析 吴建鑫 南京大学软件新技术国家重点实验室 （细粒度）图像分类  图像分类：根据图像内容判断其类别 （如物体、场景的语 义类别）  细粒度(fine-grained) 图像分类：识别同一物体大类中的子类 2 细粒度图像检索 CUB-200-2011是最常用的细粒度图像数据集  细粒度(fine-grained) 图像检索：在大量同一大类物体的图 像数据库中，返回与probe image属于同一子类物体的图 像 3 应用（现实世界的应用）  BoxCars: 3D Boxes as CNN Input for Improved Fine-Grained Vehicle Recognition ➢Jakub Sochor,Adam Herout, Jiri Havel ➢CVPR 2017  获得车的三维信息并对齐  车的make, model, year ➢识别 ➢验证！  细粒度图像分析需要这样 的实际应用! 4 分类（更高的精度）  部件(parts)的重要性 ➢Mask-CNN –我的学生魏秀参等，arxiv:1605.06878 ➢CUB：87.3% (arxiv结果是早期版本) ➢获得部件的图像作为一个stream ，FCN去除非部件的 部分 5 分类（Bilinear）  不使用部件信息 ➢为什么能有高准确率？ ➢Bilinear CNN Models for Fine-grained Visual Recognition ， Tsung-Yu Lin Aruni RoyChowdhury Subhransu Maji ，ICCV15 ➢两个网络（两个stream ）特征做外积，包含更多信息 ➢但是超高维度，Low rank bilinear pooling for fine-grained classification, CVPR 2017 6 部件（弱监督1）  部件候选用图像标签从中选择出部件  Weakly Supervised Fine-Grained Categorization with Part- Based Image Representation, 我的学生张宇等, TIP 2016 7 部件（弱监督2 ）  类似于DPM ，由三个patch 的图像特征加上其相对位 置之间的几何限制来发现“部件”  Mining Discriminative Triplets of Patches for Fine-Grained Classification ，Yaming Wang, Jonghyun Choi,Vlad I. Morariu, Larry S. Davis, CVPR 2016 8 部件（更多工作）  Picking Deep Filter Responses for Fine-grained Image Recognition ，Xiaopeng Zhang, Hongkai Xiong,Wengang Zhou,Weiyao Lin, Qi Tian ，CVPR 2016 ➢候选，然后从中获得部件  SPDA-CNN: Unifying Semantic Part Detection and Abstraction for Fine-grained Recogniti