tagcompletion.docVIP

Tag Completion for Image Retrieval Wu, L.; Jin, R.; Jain, A.Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume: PP , Issue: 99 Digital Object Identifier: 10.1109/TPAMI.2012.124 Publication Year: 2012 , Page(s): 1 我们有n幅图像，还有m个标签，要是能知道每个图像有哪些标签，就可以方便的做检索了。 我们用个矩阵 表示哪个图像标注了哪个标签： =1表示i标签被分配到了j图像；=0,否则就没有。 现在问题是用户太懒，只完成了中的一部分，我们的任务就是用计算机完成剩下的部分，得到完整的。 如何求呢？作者提出了三个标准： 首先，既然是从出发得到完整的，那么应该尊重初始的，两者差别不能太大： 最小化 其次，从图像角度考虑，如果两幅图像i和j视觉上的相似度，应该他们的标注情况所表示的两幅图像i和j相似度一致： 图像标注相似度：矩阵中的每行是一幅图像的标注的情况， 衡量两幅图片i和j相似的话，用他们的标注向量内积表示； 我们再提取一幅图像i的视觉特征矢量,组成视觉特征的矩阵。那么衡量两幅图像的视觉相似度，应该用他们的视觉特征矢量的内积。 另外，是个D维的特征向量，因为不同的视觉特征重要程度 不同，我们给他们不同的权重。 这样特征加权后的内积就变成了 标注相似度和视觉相似度一致，那么就是说应该 最小化 最后，我们从标注词的角度考虑，两个标注词相关度，应该和这俩词所标注的所有图像情况一致； 给出一个俩标注词，算一下有多少个图像分别标注了他们和，然后算一下有多少图像同时标注了他们，那么这俩标注词的相关度就可以算出来了： 从图像标注的角度考虑一下，每一列ti就是每个标词被所有图像标注情况的矢量,那么考虑两列的相似度，应该用这两列的内积了：ti’ tj 要这两一致，要最小化sum_{ij} ||Rij – ti’ tj||^2 = 这样，我们就得到了要最小化的三个目标函数项，吧他们加起来就有了最终的目标函数： 同时，我们又给我们要求的两个变量分别加上l1 norm稀疏项 下面就是如何优化的问题了： 大家知道，有了l1 norm的项，要优化很麻烦，因为要求绝对值的导数，又不知道正负符号。 为了优化这个问题，作者独创性的提出了两步走战略： 先别管，只优化前面三项，得到和； 然后以和为基准，加上稀疏项约束，求新的和： 是不是很聪明？嘿嘿。 先不考虑那俩稀疏项，而是先单独考虑前三项： min T W 这个问题好说，直接梯度下降就行了： = 加上稀疏项约束： 优化好了，直接上算法： 现在就求出来了一个T标注矩阵了。 如何利用它进行检索呢？ 现在来了一个图像，，它只有一个标注，那好，就直接把T中标注那一列拿出来，根据标注的图像的排序就行了。 现在来了一个图像，有多个标注，写在一个矢量中，那也好说，只要把图像们跟这些标签的相关度给加起来就行了：，然后根据得到的相关度排序。 当然，还可以考虑标签之间的相关度 启发： 做Tag Completion是个新的课题，值得注意； 作者两步走有话l1 norm稀疏项的技巧值得学习。 最后上作者王道：科大少年班毕业，然后在6系读了个博士，得过我们中科院院长奖的特别奖，这可是科学院最牛的了，还得了中科院的优博论文。现在在美国博后了。跟的是大牛Rong Jin。 Lei Wu received Ph.D. in Dept. of Electronic Engineering and Information Science and B.S. degree in Special Class for Gifted Young (SCGY) from University of Science and Technology of China. His research interests include distance metric learning, multimedia retrieval, and object recognition. Dr. Wu has also filed four U.S. patents, one of the patents received Microsoft Patent Award in 2009. Dr. Lei