跨媒体语义理解与搜索：结构性学习.pdf

跨媒体语义理解与搜索：结构性学习 提纲 o 从多媒体搜索到跨媒体搜索 o 高维特征选择：稀疏性到结构性 o 结构性学习 How to retrieve favorite multimedia from Internet: A Great Challenge! 数据! 数据!! 数据!!! 4% of All Photos Ever Taken Are On Facebook n 人类共拍了35000 亿张照片 n 其中1400亿在 Facebook上，占 据4% n Facebook 已经成 为世界上最大的 图像数据库 How to retrieve favorite multimedia from Internet: A Great Challenge! 数据! 数据!! 数据!!! 1825年由法国人Joseph Nicephore所拍摄的人类第一 Facebook和国会图书馆(Library of Congress) 张照片 （现藏于French 以及手机照片分享应用Instagram中图像数的 对照图。Facebook仅占4% National Library ） 187年过去了 How to retrieve favorite multimedia from Internet: A Great Challenge! 大海捞针! 大海捞针!! 大海捞针!!! 用户查询 Google有100亿的图片，YouTube拥有1亿多的视 ，Youku每天上传1万多视 。 From Multimedia Retrieval to Cross-media Retrieval 多媒体检索: 基于元数据的检索方式 Manually put Place: Berkeley meta-data to image in Photographer: order to Date: retrieve it Size: 缺陷 o 图像精确的自动标注仍然困难重重 o 手工标注费时费力 o 一幅画胜过千言字：图像语义难以用语言刻画 From Multimedia Retrieval to Cross-media Retrieval 多媒体检索: 基于元数据的检索方式 用文字作画 西班牙艺术家Juan Osborne用Barack Obama在January 2009 to October 20 11之间演讲发言中单词 所拼出的图像（左图：拼出图像；右图：所用单词） Background and Motivation : Background 多媒体检索: 基于内容（底层特征）或样例检索 之不存，毛 焉附？ 水无常形，随物附形 所有语义就在像素中包含！ Find similar images with users ’query image H. J. Zhang, D. Zhong, Schema for Visual Feature-Based I