基于神经网络的搜索引擎应用.docVIP

　　基于神经网络的搜索引擎应用 基于神经网络的搜索引擎应用 一、绪论 　　1.本课题研究的背景 　　搜索是人们学习生活中不可或缺的一个重要环节，它是人们获取所需信息的一个捷径。当用户用关键词查询信息的时候，搜索引擎将在数据库中查询，假如找到和用户要求内容相似度很高的网站，将基于关键词的匹配程度，它们出现的位置，信息和网页连接质量的频率，计算每个网页的相关性及排名回馈给搜索用户。信息检索是当今最热门的网络技术，基于神经网络的搜索引擎是一种信息检索的新方法。[1] 　　搜索引擎是按照特定的算法，加上运行计算机搜索程序搜索网络上的资源，经过一系列的组织和处理之后，向用户提供搜索功能，将用户检索的相应信息展现给用户的系统。而搜索引擎的算法决定了它的性能和易用性。好的搜索引擎如百度、谷歌，可以在用户几次查询行为之后，自动为用户选择呈现顺序，准确率也可以保持在一个很高的程度。 　　人工神经网络是在模拟人类的思维。信息采用分布式存储和并行协同处理。网络学习的核心在于：如果网络给出了错误的决定，通过网络自身的学习，应该做到降低下次犯同样错误的几率。神经网络是一种运算模型，是大量神经元和之间相互链接构成的。每个节点是一个输出函数，每两个节点间连接代表权重。通过总结归纳输出函数求出的值来判断是否激活神经元。并且对输入层、输出层和隐藏层的权重进行校正，这个就是自学习过程。通常是利用反向传播算法来建立模型。[2] 　　基于以上原因，本文构建一个人工神经网络，并向这个网络提供：查询条件中的关键词，返回给用户的搜索结果，用户的点击选择，然后再训练这个神经网络。当网络通过了许多次不同的查询训练之后，利用它我们可以改进搜索结果的次序，这样可以更好地反映用户在之前一段时间里的真实点击情况。[3] 本文由.LLP）网络。这种网络是由多层神经元构成，第一层的神经元是负责接受输入用户输入的单词。最后一层神经元负责输出包括被返回的不同URL的权重表。中间层可以包含多个神经元，但为了简化运行的过程，只采用一层中间层，叫做隐藏层负责对输入进行排列组合。这样可以直接很直观的验正反向传播算法的可实用性。本文将用python构建一个人工神经网络，并向这个网络提供：查询条件中的关键词，返回给用户的搜索结果，用户的点击选择，然后再训练这个神经网络。当网络通过了许多次不同的查询训练之后，利用它我们可以改进搜索结果的次序，这样可以更好地反映用户在之前一段时间里的真实点击情况。[4] 　　二、基于神经网络的搜索引擎应用的分析与设计 　　大多数情况下，当人们在构建神经网络的时候，网络中的全部节点都是预先用网络爬虫建好的，可以预先建立一个包含上百节点的隐藏层，并且让链接已就绪，但是我们将在需要的时候建立新的隐藏节点，这样可以让效率更高，也相对简单。[5] 　　2.1点击跟踪神经网络的设计分析 　　为了让我们建立的神经网络取得查询的最佳结果，设置对应于查询条件中出现的单词的输入节点值为1.当这些输入节点的输出端要输出时会尝试激活中间的隐藏层。当隐藏层中的某个节点得到了一个输入，就能被激活输出端，再激活输出层的节点。因为输出层中的节点经过不同的刺激将在处于不同程度上的活跃状态，我们就能利用输出节点的活跃程度，来判断一个URL与最开始查询中的关键单词联系上的紧密程度。图中的实线表示强连接，虚线表示弱链接，标粗文字代表这个节点已经变得很活跃，如图2-1所示： 　　图2-1神经网络对；E单词名2、URL表 urlsURLIDurl IDURL_Link目的链接3、隐藏层数据表hiddennodeCREATE_KEY隐藏层新建节点4、单词层到隐藏层节点连接状况表ID输入端单词TOID输出端节点STRENGTH连接强度5、隐藏层与输出层连接状况表hiddenurlFROMID隐藏层节点TOID输出端URLSTRENGTH连接强度[7] 2.4功能需求分析本文基于神经网络的搜索引擎主要包括以下一些功能模块，如图2-3所示： 　　图2-3 基于神经网络的搜索引擎的功能模块功能模块的说明（1）判断连接强度因为新的连接只在单词不存在数据库时才会被创建，所以在连接不存在时返回一个默认值，从单词层到隐藏层为-0.2，从隐藏层到URL连接默认值为0.（2）利用新的强度值更新连接用以判断连接是否存在，同时使用新的强度值更新连接或创建连接。（3）为单词在隐藏层建立新节点每当一个新的单词出现，在隐藏层中建立一个新的节点。然后在单词与隐藏节点之间，查询节点与查询返回的URL结果间建立有权重的连接。（4）建立网络利用数据库中保存的信息，建立包括所有当前权重值的相应的网络。图2-4 tanh x函数（5）前馈算法接受输入一组单词，激活链接，并对URL给出输出。选择双曲函数（tanh），因为只有在前几次输入对权