多模型融合的多标签图像自动标注.pdfVIP

第 26卷第 3期 计算机辅助设计与图形学学报 V01．26No．3 2014年 3月 JournalofComputer—AidedDesign8LComputerGraphics M ar．2O14 多模型融合的多标签 图像 自动标注 张 静孙，胡微微”，陈志华”，袁玉波” ”(华东理工大学计算机科学与工程系 上海 200237) (南京大学计算机软件新技术国家重点实验室 南京 210093) (jingzhang@ ecust．edu．en) 摘 要 ：为 了实现更为准确 的复杂语义 内容 图像理解 ，提 出一种融合多模型的多标签 图像 自动标注方法．该方法采 用 3个不同的模型分别对图像语义 内容进行分析 ：在前景语义概念检测 中，提 出一种基于多特征的视觉显著性分析 方法 ，并利用多Nystr6m近似核对前景对象的语义进行判别分析 ；对于背景概念检测 ，提 出一种 区域语义分析 的方 法 ；通过构造基于潜语义分析的语义相关矩阵来消除标注错误的标签．根据前景和背景的语义和视觉特征，分别采 用不同的模型提取前景和背景标注词 ，而语义相关分析能够有效地提高标注的准确性．实验结果表 明，该多模型融 合标注方法在图像的深层语义分析 以及多标签标注方面具有较好 的效果 ；与同类算法相 比，能够有效地减少错误标 注的标签数 目，得到更加准确 的标注结果． 关键词 ：图像标注 ；多模型；MNKDA；区域语义分析 ；语义相关分析 中图法分类号 ：TP391 M ulti—modelFusedFramework forImageAnnotation ZhangJing， ，HuW eiwei”，ChenZhihua ，andYuanYubo (DepartmentofComputerScienceandEngineering，EastChinaUniversityofScienceandTechnology，Shanghai 200237) 。(StateKeyLaboratoryforNovelsoftwareTechnology，NanjingUniversity，Nanjing 210093) Abstract：Automaticimagesemanticannotation hasbecomean importantresearch topicthatattracts widespreadattention duetotheexistenceofsemanticgap．W eproposeanew framework forimage multi—labelannotation，in which imageannotation isdivided into two parts：foreground concepts detectionandbackgroundlabelsannotation．A new multi—featurefusion basedvisualsaliencyanalysis algorithm isproposed forforegroundregion detection in thispaper，which isthebasisforaccurate foregroundannotation．W ealsoproposeanew region semanticanalysisalgorithm forbackground labelsannotation．Furthermore，a semantic correlation modelbased on latentsemanticanalysis is proposedtoremovethewronglabelstoachievemoreaccurateannotationresults．Ourautomaticimage annotationframework which fusesthree differentmodelshasbeen evaluated on theCorel5K and PascalVOC2007databases，andcomparedwithpreviousalgorithms．Experimentalresultsshow that theproposed