基于神经网络的搜索引擎应用.docVIP

基于神经网络的搜索引擎应用 基于神经网络的搜索引擎应用 一、绪论 　　1.本课题研究的背景 　　搜索是人们学习生活中不可或缺的一个重要环节，它是人们获取所需信息的一个捷径。当用户用关键词查询信息的时候，搜索引擎将在数据库中查询，假如找到和用户要求内容相似度很高的网站，将基于关键词的匹配程度，它们出现的位置，信息和网页连接质量的频率，计算每个网页的相关性及排名回馈给搜索用户。信息检索是当今最热门的网络技术，基于神经网络的搜索引擎是一种信息检索的新方法。[1] 　　搜索引擎是按照特定的算法，加上运行计算机搜索程序搜索网络上的资源，经过一系列的组织和处理之后，向用户提供搜索功能，将用户检索的相应信息展现给用户的系统。而搜索引擎的算法决定了它的性能和易用性。好的搜索引擎如百度、谷歌，可以在用户几次查询行为之后，自动为用户选择呈现顺序，准确率也可以保持在一个很高的程度。 　　人工神经网络是在模拟人类的思维。信息采用分布式存储和并行协同处理。网络学习的核心在于：如果网络给出了错误的决定，通过网络自身的学习，应该做到降低下次犯同样错误的几率。神经网络是一种运算模型，是大量神经元和之间相互链接构成的。每个节点是一个输出函数，每两个节点间连接代表权重。通过总结归纳输出函数求出的值来判断是否激活神经元。并且对输入层、输出层和隐藏层的权重进行校正，这个就是自学习过程。通常是利用反向传播算法来建立模型。[2] 　　基于以上原因，本文构建一个人工神经网络，并向这个网络提供：查询条件中的关键词，返回给用户的搜索结果，用户的点击选择，然后再训练这个神经网络。当网络通过了许多次不同的查询训练之后，利用它我们可以改进搜索结果的次序，这样可以更好地反映用户在之前一段时间里的真实点击情况。[3] 本文由论文联盟http://收集整理 　　本文的创新性和特点 　　现有许多种不同类型的神经网络，但大都以一组神经元构成。而我将用一个名为多层感知机网络。这种网络是由多层神经元构成，第一层的神经元是负责接受输入——用户输入的单词。最后一层神经元负责输出——包括被返回的不同URL的权重表。中间层可以包含多个神经元，但为了简化运行的过程，只采用一层中间层，叫做隐藏层——负责对输入进行排列组合。这样可以直接很直观的验正反向传播算法的可实用性。本文将用python构建一个人工神经网络，并向这个网络提供：查询条件中的关键词，返回给用户的搜索结果，用户的点击选择，然后再训练这个神经网络。当网络通过了许多次不同的查询训练之后，利用它我们可以改进搜索结果的次序，这样可以更好地反映用户在之前一段时间里的真实点击情况。[4] 　　二、基于神经网络的搜索引擎应用的分析与设计 　　大多数情况下，当人们在构建神经网络的时候，网络中的全部节点都是预先用网络爬虫建好的，可以预先建立一个包含上百节点的隐藏层，并且让链接已就绪，但是我们将在需要的时候建立新的隐藏节点，这样可以让效率更高，也相对简单。[5] 　　点击跟踪神经网络的设计分析 　　为了让我们建立的神经网络取得查询的最佳结果，设置对应于查询条件中出现的单词的输入节点值为1.当这些输入节点的输出端要输出时会尝试激活中间的隐藏层。当隐藏层中的某个节点得到了一个输入，就能被激活输出端，再激活输出层的节点。因为输出层中的节点经过不同的刺激将在处于不同程度上的活跃状态，我们就能利用输出节点的活跃程度，来判断一个URL与最开始查询中的关键单词联系上的紧密程度。图中的实线表示强连接，虚线表示弱链接，标粗文字代表这个节点已经变得很活跃，如图2-1所示： 　　图2-1神经网络对“；world bank”；做的反应当然一次的结果并不能说明问题，最终的结果还要被逐渐纠正，通过纠正连接强度。这样，当用户执行搜索的时候，激活输入端，并从结果中选择所需要的链接，我们就能对网络进行训练。在图2-1所示的网络中，已经有很多人进行过搜索“；world bank”；，并且点击过World Bank 的相应的结果，通过这一步，可以加强单词与URL之间的关联。[6] 　　2.数据流程分析基于以上对点击神经网络跟踪过程的分析，得到神经网络的简化数据流程图如图2-2所示。神经网络从用户输入查询的关键词开始，首先把用户查询的单词与数据库已存在的数据做对比，看是否已经存在，若存在则把关键字和输出的URL之间的连接加强，即增加权重。如果之前不存在这个关键词，则在数据库中插入该数据并记录这次对应的查询输出结果。 图2-系统数据流程图 　　2.数据库的设计神经网络的核心在于通过当用户查询时不断选择来训练网络，所以我们需要在数据库中存储能够反映网络现状的信息。基于前面的分析，建立了以下一些数据库表。具体见表2-1。表2-1各数据库表字段说明1、单词表wordid