基于友好交互模式的半自动照片人物标注系统-先进人机通信技术联合.PDF

基于友好交互模式的半自动照片人物标注系统 张杰*  黄煜 山世光 陈熙霖 中科院计算所 中科院智能信息处理重点实验室，北京，100190 摘 要：近年来，数码相机和拍照手机产品的广泛应用催生了海量的照片，通过手动标注管理 海量照片工作量非常巨大。本文设计并实现了一套半自动人物标注系统，使用基于人脸、头发 和衣服多个特征的半监督聚类算法和友好的交互机制协助用户标注，减少交互代价（用户的交 互次数和难度），最终方便快捷地完成了照片中人物的准确标注。本文工作实现的系统比Google 公司开发的照片管理软件Picasa3.9 交互次数减少30% 以上。 关键词：人物标注；多线索特征；监督信息获取 1．引言 近年来，随着数码相机和照相手机的使用越来越普遍，拍摄和存储照片的花销微乎其 微，人们的电子照片库越来越庞大。若人工逐张分门别类，工作量将非常巨大。过去几年， 在照片管理和搜索的应用需求驱动下，很多研究工作致力于研究人物照片的标注方法。按 照标注方法的自动程度，标注方法可以分为半自动方案和全自动方案。全自动方案一般无 法达到照片人物精准标注的要求，退而求其次，用户期望使用较少的人工交互措施实现半 自动的人脸标注任务。L. Zhang 等提出了一种在标注多张图片时自动进行人名传播的方法 [1] 。该方法的确能实现自动标注一个人名字的效果，但是，用户需要检索整个图片集合才 能找全他们要标注的照片，并且人工标注的工作量非常大，因此并不适合实际使用。J. Cui [2] 等首先通过时间和一些主要特征将人脸图像聚成若干类以便初步地完成人物照片标注 ， 然后通过一个交互界面进行手工调整，修正错误的标注，因而人工操作任务量繁重且耗时， 不适用于处理大量照片标注的问题。2011 年Google 推出的图片工具Picasa3.9 应用了人 脸检测和识别技术，但交互操作仍然比较繁琐，尚不能完全满足用户的需求。 本文提出一种基于友好交互模式的半自动照片人物标注方法。该方法通过融合人脸、 头发和衣服等多线索特征，分别从聚类前和聚类后两个角度，使用自动直接获取和交互协 助获取两种方式高效地获取“约束”形式的监督信息，进行人物照片的半监督聚类。我们 通过设计基于主动推荐的用户交互机制，减少了交互次数和难度，最终实现照片人物的准 确、快速标注。 2. 总体系统框架 系统的总体框架如图1 所示，系统提取并融合人脸、头发和衣服的信息，结合聚类前  资助项目：国家自然科学基金委项目(No No，北京市自然科学基金委项目(No. 4111003) *联系作者：张杰，E-mail ：jie.zhang @vipl.ict.ac.cn 和谐人机环境20 12 中国 广州 通过用户交互获取的监督信息完成人物照片的半监督聚类。如果照片人物未完成精准标注， 用户可以根据系统提供的主动交互信息进一步获取更多的监督信息，系统根据新获取的监 督信息再次执行半监督聚类。上述步骤迭代进行直至样本中所有的照片人物完成精准标注。 图1 系统总体框架图 3．多线索特征的提取与融合 由于照片中人脸姿态各异，光照、遮挡等条件复杂，仅使用人脸信息难以实现可靠的 自动人物标注，需要考虑使用其他信息来弥补其不足。考虑到在一定时间段内（例如一个 月）人的发型较为恒定，所以头发信息可以辅助人脸信息进行聚类。此外，在短时间内（例 如一天之中）人一般也不会更换衣服，因此衣服信息也在一定程度上是可用的[2,3] 。下面我 们分别介绍人脸、头发和衣服特征提取方法以及三者的融合策略。 3.1 人脸信息的获取 [4] 为获取人脸特征，我们首先使用Adaboost 人脸检测算法 检测照片中人脸位置，然后 使用面部特征点定位方法[5]确定眼睛的位置，再根据眼睛的位置对齐人脸图片，最后使用 最优判别投影寻踪（ODPP ）框架[6]提取人脸特征。ODPP 框架的提取步骤主要分为两步： 第一步：生成候选投影（特征），第二步：选择最