结合itq的跨模态的多媒体信息检索-计算机软件与理论专业论文.docxVIP

优秀毕业论文 精品参考文献资料 研究生优秀毕业论文 3． 3．4．1线形子空间学习 30 3．4．2图像和文本映射 3 1 3．4．3相关性匹配 ．．3 1 3．5实验结果及分析 一3 1 3。5．1数据描述 32 3．5．2参数设置 33 3．5．3性能指标 33 3．5．4实验结果及评估 34 3．6本章小结 ．．39 第4章基于主题模型和ITQ的跨模态信息检索 ．41 4．1任务概述 一41 4．2图像和文本的表示模型 ．．42 4．2．1图像表示模型 42 4．2．2文本表示模型 43 4．3跨模态检索 ．．44 4．3．1图像和文本之间的典型相关性 44 4．3．2图像和文本的相关性匹配 ．．45 4．4实验结果及分析 一46 4．4．1参数设置 46 4．4．2性能指标 46 4．4．3实验结果与评估 46 4．5本章小结 ．．50 第5章融合多特征的跨模态信息检索 。51 5．1任务概述 ．5 1 5．2融合多特征的跨模态检索 一52 5．2．1底层特征的融合 53 5．2．2相关子空间的融合 53 5．3实验结果及分析 一54 5．3．1参数设置 54 万方数据 5． 5．3．2实验结果与评估 55 5．4本章小结 一57 第6章总结及展望 。59 6．1总结 59 6．2展望 59 参考文献 ．．61 致谢 ．．63 硕士期间发表的论文 65 万方数据 图目录图卜 图目录 图卜1左：传统的信息检索方式：右：跨模态信息检索方式 2 图2—1主题模型的概率矩阵 ．7 图2～2 LSI的降维 一8 图2—3 PLSI的贝叶斯概率图模型表示 9 图2—4 LDA的贝叶斯概率图模型表示 10 图2-5 CBOW模型和Skip—gram模型 一1 3 图2—6单词向量的学习框架 14 图2-7段落向量的学习框架 1 5 图2—8 DOG空间极值点检测 17 图2—9 sift关键点描述 一19 图2—10关键点提取 ．19 图2-1 1 Kmeans聚类过程 21 图2-12 ITQ二进制编码过程 一22 图3-1跨模态信息检索模式 26 图3-2基于doc2vec和ITQ的相关性匹配 26 图3-3图像特征提取过程 27 图3—4文本特征提取过程 27 图3-5文档所对应的图像空间文本特征空间映射关系 28 图3-6 ITO迭代旋转过程 29 图3—7相关性匹配 30 图3—8相关性子空间 31 图3—9类标签的精密度 35 图3-10两种数据集，在不同ITO编码方式下图像和文本的跨模态查询结果 37 图3—11在不同文本维度下EG-维基百科和CH-维基百科的MAP得分 38 图4一l基于主题模型和ITO的相关性匹配和跨模态检索 42 图4-2图像特征提取过程 43 4 万方数据 图4—3 图4—3中文文档的LDA建模 44 图4—4根据图像查询得到文本 46 图4—5两种数据集，在不同ITQ编码方式下图像和文本的跨模态查询结果48 图4—6在不同文本维度下EG-维基百科和CH一维基百科的MAP得分 ．49 图5-1融合底层特征的跨模态信息检索(M-F—CM) 52 图5-2融合最大相关子空间的跨模态信息检索(M-CCA—CM) 52 图5-3最大相关子空间融合 53 图5-4最大相关子空间融合 54 图5-5融合不同个数的最大相关子空间的跨模态检索 55 图5-6不同跨模信息态检索方法的MAP得分 56 图5-1在EG-维基百科数据集上的text-to—image检索 57 图5-8在EG-维基百科数据集上的image—to—text检索 57 万方数据 表目录表 表目录 表2-i PSLI的文档生成过程 9 表2—2 LDA的文档生成过程 10 表3-i中文维基百科数据集 32 表3-2英文维基百科数据集 33 表3—3不同距离测量方法的MAP得分 34 表3-4在EG-维基百科上结合doc2vec和ITQ的MAP得分 35 表3-5在CH一维基百科上结合doc2vec和ITQ的MAP得分 36 表3—6不同方法的MAP得分统计 39 表4—1在EG-维基百科上基于主题模型和ITQ的MAP得分 47 表4—2在CH一维基百科上基于主题模型和ITQ的MAP得分 47 表4—3不同方法的MAP得分统计 50 表5—1 M—F～CM的MAP得分 ．．55 表5—2 M—CCA—CM的MAP得分 一55 6 万方数据 摘要结合 摘要 结合ITQ的跨模态的多媒体信