多媒体文档检索研究-计算机系统结构专业论文.docxVIP

创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文若有不实之处，本人承担一切相关责任。 本人签名： 日期： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。（保密的论文 在解密后遵守此规定） 本学位论文属于保密在 年解密后适用本授权书。 本人签名： 日期： 导师签名： 日期： 摘要 随着数字媒体技术和社交网络的发展与普及，越来越多的网络信息以包含多 种模态数据的多媒体文档的形式出现。传统的文档检索已经不能满足人们的需求， 如何有效的从这些海量多媒体文档中快速、准确的检索到用户需求的信息是高效 利用互联网资源迫切需要解决的问题。 本文首先对现有的多媒体信息检索的方法进行了研究，在其基础上，针对利 用单一模态对多媒体文档进行检索时表达的语义含混不清具有歧义的问题，提出 了一种多模态融合中采用线性加权和的方法对多媒体文档进行检索。其中文本采 取基于 Lucene 的全文检索，图像利用基于内容的纹理、颜色等检索的 LIRE。权重 的分配按照各个模态检索结果的正确率做比例来划分，此方法经实验验证检索准 确率较高。本文提出的另外一个方法是利用融合的词袋方法 BOW 和特征袋方法 BOF 对多媒体文档进行检索。其中应用的词袋方法是经过对单词分类后的改进的 词袋方法，改进的方法大大降低了码书的尺寸，使得检索效率更高。实验证明， 融合的 BOW 和 BOF 综合考虑了文本和图像对多媒体文档检索的影响，效率要高 于只使用 BOW 或 BOF 对多媒体文档的检索。 关键词：多媒体文档检索 Lucene BOW BOF Abstract With the development and popularization of digital media technology and social networking, network is full of huge amounts of multimedia documents which contain various modalities. Traditional document retrieval can’t satisfy people’s needs. How to find information that users need quickly and accurately from huge amounts of multimedia documents is an urgent problem to solve. The paper first makes a research on existing methods of multimedia information retrieval. Based on various modalities in multimedia document, we present a new method that apply linear weighted sum of multimodal fusion to retrieval multimedia documents. With this method, text retrieval resorts to full text search technology which bases on Lucene. To image retrieval, it resorts to LIRE which applied visual features such as texture and color. And hierarchy indexing was adopted to retrieval video. Weight is assigned to each modality in accordance with scale factor that results from precision