【学习文件】搜索引擎基础原理.pptVIP

搜索引擎基础 附件1：搜索引擎网站收录地址 以下是搜索引擎网站收录地址百度搜索网站登录口：/search/url_submit.htmlGoogle网站登录口：/newbizsite/docc/index-2jifu-03.htm网络奇兵登录口：/net7b_site/denglu.aspx 180度水平线搜索登录口：/url_add.asp蚁搜搜索网站登录口：/apply.asp快搜搜索网站登录口：/main/inputweb.asp零搜搜索网站登录口：/protocol.asp汕头登录口：/join.asp猎商登录口：/lg/lgss.htm企搜搜索登录口：/denglu.asp网页大搜索登录口：http://www2d.biglobe.ne.jp/~kinryou/cgi/cnaddURL.html协通搜索登录口：/search/regform.htm Gais搜索登录口：.tw/reg_new.php法律网免费登录口：/lawseek/wzdl.asp 附件2：独立博客收录提交网址 百度博客提交: /blogsearch/submit.php 博客大全提交：/daohang/login.asp Souyo 博客搜索: /guide/addblog.htm 中文Blog目录集: /rings/submit.asp 周博通博客提交: /index Google博客提交：/intl/zh-CN/add_url.html 雅虎中国博客提交：/h4_4.htmlFeedSky 提交博客: 搜狗(SoGou)博客提交：/feedback/blogfeedback.php 有道(YoDao)博客提交：/ Live Search博客提交：/docs/submit.aspx 搜搜博客提交：/join.html 附件3：英文搜索网站收录地址 HotBot登录口：/prefs_filters.asp?prov=Inktomifilter=webnetscape 登录口：/ intelseek登录口：/add_url_form.asp NetSearch登录口：/promo/submit.htm AddMe登录口：/s0new.htm Link it All登录口：/ffa/links.html Voyager登录口：/cgi-bin/q/search.cgi?NAVG=AddURL Gigablast登录口：/addurl Aeiwei登录口：/submit.html Infotiger登录口：/addurl.html Nationaldirectory登录口：/addurl/ 谢谢欣赏 3.2 建立索引（预处理） 关键字索引：在切词处理后，形成了关键字列表。关键字列表的每条记录包含：关键字、关键字编号、出现次数、在网页中的位置信息等。 根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面文字中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库 对抓取回来的网页建立索引，以实现对页面的快速定位； 建立索引（预处理） 3.3 页面排序（排名） 结合页面的内外因素，计算出页面与某个关键字的相关程度，从而得到与该关键字相关的页面索引列表，从而确定搜索排名。 3.3 页面排序（排名） 用户在搜索引擎中输入查询条件后，搜索引擎就在数据库中检索相关的信息，并将检索结果返回给用户。（对搜索词进行处理） 搜索引擎在往用户端返回数据的时候，并不是随机的，而是按照一定的计算方法进行排序的（搜索匹配，相关性计算） 涉及到排序的因素主要有： 页面相关性 链接权重 用户行为 3.3.1 页面相关性 页面相关性 通过对检索结果进行相关性排序，搜索引擎的最终目的是将最相关的网络信息尽可能地优先显示在搜索结果的前面部分，以改进搜索结果的输出。 虽然各个搜索引擎中相关度排序的具体实现各不相同，但基本上都采用了基于网站内容的分析方法，即考虑用户所查询的关键词在文档网页中的出现情况，包括关键字匹配度、关键词密度、关键词位置、关键字的权重标签等因素。 3.3.1 页面相关性 关键字匹配度：是指网页中的内容与用户所查询的关键字之间的匹配程度，主要是2个因素： 页面中是否包含关键字 关键字在页面中出现的次数 关键字密度： 关键字出现的次数与该网页总词汇量的比例.一般是3%-8% 3.3.1 页面相关性 关键字分布： 关键字在网页中出现的位置 关键字在网页中出现的位置会影响到关键字的分布值 关键字的权重标签 关键字是否使用了HTML标签实现了不同的视觉效果（如加粗、颜色变换等） 页面相关性计算公式： R(relevance)=M(match)+D(density)+P(position)+T(html Tag) 3