互联网搜索引擎搜索策略和算法的分析-计算机应用技术专业论文.docxVIP

万方数据 万方数据 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成 果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研 究成果，也不包含获得 兰州交通大学 或其他教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了 谢意。 学位论文作者签名： 签字日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解 兰州交通大学 有关保留、使用学位论文的规定。特授权 兰州交通大学 可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影 印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机 构送交论文的复印件和磁盘。 （保密的学位论文在解密后适用本授权说明） 学位论文作者签名： 导师签名： 签字日期： 年 月 日 签字日期： 年 月 日 兰州 兰州交通大学硕士学位论文 万方数据 万方数据 摘 要 现阶段，互联网行业的蓬勃发展是有目共睹的。以百度、阿里、腾讯为首的互联网 公司竞相角逐，抢占着每一片互联网市场，例如最近一年非常火的 O2O 电商（online to offline，即线下商品，线上交易），2014 年过年非常红的微信红包、百度的大数据迁徙 等，互联网都在深刻的改变着人们的生活。在互联网的世界里，有一块市场非常重要， 它是互联网的入口，80%以上的互联网流量都需要经过它的分发，这就是搜索引擎。因 为互联网公司的网址实在太多，网页数更是可怕，Google（谷歌）目前统计的数字是 100 亿，大部分想去各家网站的人都会选择通过搜索行为进行跳转。从中我们可看出搜索引 擎的好坏直接决定着人们的互联网生活，决定着整个互联网流量的分发，对整个互联网 生态都有很大的影响。 本文先简单介绍了搜索引擎的背景和意义，说明了研究搜索引擎的重大意义。介绍 了搜索引擎的国内外动态，重点介绍了 Google 和百度，这是现阶段最成功的两家搜索 引擎，他们的现状对搜索生态的发展至关重要，最后引出了搜索引擎算法的现状和不足， 并提出了解决办法。 现阶段搜索引擎主要的搜索算法分爬取部分和排序部分。第二章重点介绍了现阶段 的爬虫策略和排序策略，这些策略很多都是个人使用后的一些感触。通过对算法的分析， 提出了新的算法：爬取部分的广度优先搜索的并行化思想以及排序策略部分的页面评分 排序策略。 第三章从产品化策略去分析搜索引擎，单从搜索算法上去看搜索，并不是一个搜索 引擎的全部，和真正的搜索引擎相差很远。第三章通过在搜索引擎公司的实习，学到了 一个真正的搜索引擎是什么样子的，单纯的算法只是其中的一小部分，提出通过产品化 的策略提升搜索引擎的搜索效果，并进行了详细的介绍和分析。 第四章主要是针对第二章提出的两种改进算法，在 Linux 系统上通过集成 Nutch 爬 虫[20]、Solr 服务器（主流搜索引擎数据存储服务器）、tomcat 监控器、中文分词、前端 页面等控件，实现了一个真实的搜索引擎，并对其中很多的代码进行修改，实现了广度 优先并行化算法和页面评分排序策略，通过最后的实验数据分析，证明了对爬取效率和 排序策略的提升。 最后简单介绍了搜索引擎的发展方向，给出了一个比较良好的愿景。可以让人们享 受到更好的搜索服务。搜索引擎还是有很大的发展空间的。很多技术现阶段都没有实现， 例如个性化搜索、智能化搜索等。 I - 互联 互联网搜索引擎搜索策略和算法的研究 关键词：并行化、页面评分排序策略、搜索引擎产品化 论文类型：应用研究 II - 兰州 兰州交通大学硕士学位论文 Abstract At present, the development of the Internet industry is obvious to people.Led by the BAT Internet Companies to compete,seize every piece of the Internet market.For example, in recent years is the fire of O2O (online to offline, line of goods, online transactions),2014 Chinese new year very red micro channel red,baidu large numbers migration.the Internet is changing peoples life deeply.In the world of Internet,there is a piece of the market is very important.It is t