图像视觉特征提取-天津大学计算机科学与技术学院.PDF

图像视觉特征提取 颜色、纹理、形状与视觉单词 韩亚洪 天津大学计算机科学与技术学院 Resources: /faculty/hanyahong/ComputerVision/ Email: hanyahong@ Content-based Image Retrieval (CBIR) 在多媒体搜索中为什么特征很重要 Content-based Image Retrieval (CBIR) 为什么特征很重要 Content-based Image Retrieval (CBIR)  特征提取  特征选择（稀疏性选择）  特征表达（向量、矩阵、张量、图）  特征融合  不同种类特征相似度学习（Cross-modal metric learning ）  特征降维与流形学习（线性、非线性、反映非 线性特点的线性降维）  … 4 Content-based Image Retrieval (CBIR) 为什么特征很重要 颜色特征 图像视觉特征  图像特征指的是能够用来表征图像所蕴含语义 的属性数据,这些属性数据用来代表图像本身, 参与后续的分析与处理等计算过程  图像特征的分类  像素点(保存了原始图像足够多信息)  全局特征(对图像全局操作后得到属性信息)  局部特征(对图像局部操作后得到的属性信息) 7 图像视觉特征  通用的视觉特征和领域相关的视觉特征  前者用于描述所有图像共有的特征，与图像的具体类型 或内容无关，主要包括色彩、纹理和形状；  后者则建立在对所描述图像内容的某些先验知识（或假 设）的基础上，与具体的应用紧密有关，例如人的面部 特征或指纹特征等。  由于图像的内容是通过特征来描述的，并且影响了后继 相似度比较，因此，视觉特征选取十分重要，要根据不 同应用进行选择。 图像视觉特征  文本目前也成为图像中一种重要的特征。这些文本标签信息 成为我们理解图像语义的关键上下文属性而被广泛研究。  由于对图像伴随文本特征的提取，在基于文本的图像特征提 取在数据库系统和信息检索等领域中已有深入的研究，因此 这里主要介绍图像视觉特征的提取和表达。 截止2010年7月，Flickr有50亿张图像  图像标注词条过亿，涵盖千万多种概念  每分钟新增4000张图像  吸引了2%的互联网用户 如何使用图像视觉特征  Extraction: 特征提取  可以从图像中提取哪些特征。这些特征在表达图像视觉方面各 自的优势/劣势是什么？如目前的稀疏表达算法要解决的问题。  Representation:特征表达  从图像中提取得到的视觉特征如何去表达？是向量模型，还是 图模型？还是在降维后的子空间表达？ 如何使用图像视觉特征  Discrimination: 区别性特征选择  不同特征在表达不同语义/对象时所起得作用不同，如何根据一 定的准则，将某一语义/对象所对应的区别性特征挑选出来？  Indexing: 特征索引  为了在图像后续处理中提高其利用效率（如重复性检测等）， 如何将高维图像特征映射到汉明（Hamming ）二元空间，且保