暑假工作总结-熊思.pptxVIP

 8~9月工作汇报 报告人：熊思 日期：2015.10.11 http://M 华中科技大学数字媒体实验室 汇报内容一览 计划工作 8月计划工作 阅读RVQ/ERVQ算法相关论文 在Spark上实现RVQ/ERVQ算法 优化程序，提高处理效率 9月计划工作 掌握Spark程序的高效调试方法 阿里天池图像搜索大赛 华中科技大学数字媒体实验室 汇报内容一览 华中科技大学数字媒体实验室 完成情况 8月计划工作 阅读RVQ/ERVQ算法相关论文 在Spark上实现RVQ/ERVQ算法 优化程序，提高处理效率 9月计划工作 掌握Spark程序的高效调试方法 阿里天池图像搜索大赛 华中科技大学数字媒体实验室 未完成 计划完成情况 相似图片检索 如何去标志量化图片的唯一性？ SIFT 华中科技大学数字媒体实验室 相似图片检索实现 构建数据库图片的倒排索引，SIFT-VECTOR,RDD(PIC-ID) 提取被检索图片的SIFT-VECTOR集合,记RDD(V) 利用倒排索引检索遍历RDD(V),得到RDD(PIC-ID) RDD(PIC-ID) = RDD(PIC-ID).reduce().top(K) SIFT-VECTOR RDDPIC-ID 1.2 ,2.3,...,12.5 {1,2,3,9,...,9003,10007} 2.6,3.9,....,0.8 {2,3,5,23,...,8901,9003} ... ... 2.5,3.2,...,1.7 {3,14,19,23,...,8901,9067} 计划完成情况 SIFT-VECTOR 是一个128维的向量，每个维度类型为double 倒排索引表 华中科技大学数字媒体实验室 计划完成情况 ？？？ 华中科技大学数字媒体实验室 原理 小数据集量化大数据集，对残差进行反复量化 步骤 训练 小数据集进行多次K-MEANS聚类得到多层码书 量化 利用码书量化大数据集构建倒排索引表 检索 利用码书量化被检索数据集 利用倒排索引表检索 RVQ 华中科技大学数字媒体实验室 特点 m层码书（m1,实现取m=8） 训练残差 ,减小误差 目的 减少量化的误差，提高量化的准确度 步骤 RVQ RVQ-训练 华中科技大学数字媒体实验室 特点 m层码书（m1,实现取m=8） 训练残差 ,减小误差 目的 减少量化的误差，提高量化的准确度 步骤 RVQ RVQ-量化 华中科技大学数字媒体实验室 RVQ-量化（续） 构建倒排索引 1.SIFT-Id,Vector --------- SIFT-Id,ListInteger 2. SIFT-Id,ListInteger ------- list.get(0),list.get(1),SIFT-Id 索引[int I,int j] SIFT-id集合 [0,0] {1,3,5,6,…9935} [0,1] {2,3,4,6,9...,9087} [0,2] … … … [0,255] {2,5,7,8,9,..,9903} [1,0] …. … … [1,255] …. … … [255,0] … ….. … [255,255] … 华中科技大学数字媒体实验室 RVQ-图片检索 SIFT向量集合ListVector 量化结果集合 ListListInteger 提取 量化 倒排索引表 SIFT-ID 集合ListSIFT-ID 图片ID集合ListPIC-ID 对应规则 检索、TOP N Top N 相似图片集合 量化数据集 训练数据集 8层码书 量化 训练 华中科技大学数字媒体实验室 ERVQ 华中科技大学数字媒体实验室 特点：在RVQ的基础上，继续优化码书（训练阶段） 训练阶段： 训练 向量 集 RVQ 条件联合优化 http://M 华中科技大学数字媒体实验室 ERVQ-条件联合优化 开始 令j=1 1=j=L 原始向量减去除第i层的其它各层量化结果 在各码书内取平均值更新第j层码书 对第k层进行重新量化 k=L 令k=j k++ j++ 结束 是 否 否 是 一遍条件联合优化流程图 实验结果 训练阶段： 图片数目 SIFT向量数目 RVQ时间（min） ERVQ时间（min) 4005 692865 46 87 K = 256,SIFT-128 量化阶段： 图片数目 SIFT向量数目 时间（min） 52185 9028005 7 图片数目 SIFT向量数目 时间（min） 1743 301539 9 检索阶段： 华中科技大学