基于内容的图像检索与相关反馈和语义标注.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 调整Wij（特征之间的权重） 调整Wijk（特征内部的权值） Wijk反映的是分量rijk对特征向量rij的贡献大小。例如，在小波纹理特征中，子波带的平均值可能被光照情况破坏，而其标准方差则与光照情况无关。从这一角度考虑，应该把较大的权值赋给标准方差分量，而把较小的权值赋给平均值分量。允许特征分量具有不同权重这一特点使系统能够构造更为准确可靠的特征，从而获得更好的检索性能。 权重调整相关反馈优点 以往以计算机为中心的方法力图找到一种“最佳”的通用特征。与之相比，相关反馈技术则致力于如何组织多种特征，使得在恰当环境中采用（或强调）合适的特征。多特征方法使系统能更好的模拟用户的感知主观性。 多特征性 权重调整相关反馈优点 与以计算机为中心的全自动化方法相比，此方法本质上是交互的。交互性使系统能够同时发挥计算机和人的特长，取长补短，从而获得更好的检索效果。 交互性 Interactive is more Powerful than Algorithm 权重调整相关反馈优点 解除用户的负担 在查询提交阶段，不再需要由用户指定精确的权值。用户只需和系统交互作用，在系统返回的检索结果中指出他所认为的与查询相关或不相关的图像。根据用户的反馈，系统能够动态调整相应特征的权值。 解除计算机的负担 不再需要依赖计算机去理解高层语义，而是根据用户反馈，系统自动精化包含着高层语义的特征权值。 动态性 Reference Multimedia Analysis and Retrieval System (MARS) Yong Rui et al. Relevance feedback: A powerful tool for interactive content-based image retrieval. - 1998 Bayes Feedback 难点与挑战 被检索出来的结果总是小部分，能否依赖小部分结果去判断整个图象数据库中正例与反例？ Little labeled Samples (Negative or Positive) Large Unlabeled Samples; Unbalance View User’s feedback is sometimes inconsistent, how to deal with? Long term relevance feedback 难点与挑战 相关反馈的重要趋势 Y.Wu, Q. Tian, T. S. Huang, Discriminant-EM Algorithm with Application to Image Retrieval. IEEE Conference of Computer Vision and Pattern Recognition, 1222-1227, Hilton Head Island, SC, USA, 2000 S. Tong, E. Chang. Support Vector Machine Active Learning for Image Retrieval. ACM International Multimedia Conference, 107-119, Ottawa, Canada, 2001. 相关反馈的重要趋势 X. F. He, O. King, W. Y. Ma, M. J. Li, H. J. Zhang. Learning a Semantic Space From User’s Relevance Feedback for Image Retrieval. IEEE Transactions on Circuits and Systems for Video Technology, 13(1):39-48, 2003. X. F. He, W. Y. Ma, and H. J. Zhang. Learning an Image Manifold for Retrieval, ACM International Conference on Multimedia, 17