面向美食网站的搜索及点评与图片去重模块的设计与实现-软件工程专业毕业论文.docxVIP

Classified Index: TP311 U.D.C: 621.3 Dissertation for the Master Degree in Engineering THE DESIGN AND IMPLEMENTATION OF FOOD WEB’S SEARCH ENGINE AND ELIMINATING DUPLICATION MODULE OF REVIEWS AND PHOTOS Candidate： He Shiyang Supervisor： Associate Prof. Zhang Yan Associate Supervisor： Senior Engineer Yao Gang Academic Degree Applied for： Master of Engineering Speciality： Software Engineering Affiliation： School of Software Engineering Date of Defence： Oct., 2012 Degree-Conferring-Institution： Harbin Institute of Technology 摘要 摘要 Ab Abstract - - PAGE VI - - - III - 摘 要 互联网产业，针对各行各业的门户网站越来越多，包括旅游，美食，时事 等。各种类型的门户网站由于面对的用户群以及自身所有元素的不同，需要处 理的各种问题也不同。比如针对美食类的门户网站，网站内容以图片，介绍等 居多，那么需要面对的问题大多在图片以及内容处理等方面。 本课题所研究的内容是某美食类网站关于图片，内容的处理以及垂直搜索 的问题。对于图片处理，简单来说是图片的匹配，采用匹配算法过滤出重复的 图片然后根据匹配数据采取不同的操作。该问题通过建立数据库存储原来的图 片信息，使用颜色直方图生成算法生成对应的颜色直方图并用距离向量算法计 算图片的相似度数据来实现。内容处理问题即点评处理，该问题与图片处理类 似，通过中文分词算法对点评内容进行分词，然后根据规则对待匹配的内容进 行排序，最后进行匹配操作计算匹配度。垂直搜索问题即针对美食类的信息进 行专项搜索，该问题通过建立源数据的倒排索引树，检索索引并对结果进行排 序的方式来实现。结果排序可分为热度排序和按字段排序，热度排序采用散热 算法模拟热度的增加和减少，从而达到热度排名的效果。 通过解决上述问题，并实现其功能，可以总结出本课题的研究内容为美食 类网站的搜索与图片和点评数据匹配的研究与实现。目前点评处理以及图片去 重模块都可以匹配出大部分的重复内容。站内搜索模块可以完成基本的搜索和 排序功能。不过点评和图片去重模块在性能上有待加强，另外在匹配精度上也 需加强。搜索模块的排序算法还需经过大量测试之后进一步进行调整。 通过完成本课题的设计与实现，对中文分词，索引，搜索，匹配以及图片 处理，颜色直方图等概念和原理有了很深刻的理解。此课题的主要贡献是研究 可用的中文垂直搜索系统，搜索结果的热度排序算法以及图片颜色直方图生成 算法和匹配方式。 关键词：中文分词；图片去重；颜色直方图；垂直搜索；热度排名； Abstract In internet field, more and more kinds of web portals show up everyday, include travel, food, affairs, etc. Every kind of portal has its own special elements because of the different users. Like a food portal, the main element of web site are shops, reviews, replys and photos, so food portal may need to take care of reviews and photos. The research in this subject is working on pictures, content processing and vertical search of one food website. For pictures issue, also called photos matching, this module check if the photos are dulication by using a matching algorithm. This module will create a database to store the origin