杭电搜索引擎资料.docVIP

杭州电子科技大学搜索引擎开发 项目简介 本项目要构建一个杭州电子科技大学校内网络的搜索引，搜搜引擎的主页面如图1-1所示。 图1-1 简单搜索引擎的主页面 用户登录到这个搭建好的网站上，输入所期望获取的信息的关键字后，搜索引擎会返回给用户所输入的关键字的网页地址、网页标题以及摘要。例如，输入“杭电”这个关键词后，显示结果如图1-2所示。用户可以从显示页面中选中一个标题，双击此标题就能浏览所选定网页内容。 图2-1 搜索引擎查询界面 搜索引擎的体系结构 一个完整的搜搜引擎主要包含3个部分：网页搜集、网页预处理和提供查询服务。图2-1为本搜索引的体系结构图。 图2-1 搜索引擎的体系结构图 开发工具 为了构建一个简单的搜索引擎，在本项目中采用的开发语言为java，其中用到的爬虫索引工具开发工具下载地址如下： JDK 1.7 下载地址为：/Eclipse-jee-kepler-SR1 下载地址为: /； apache-tomcat-6.0.37 下载地址为：/； Heritrix 1.14.4 下载地址为：/； Lucene 2.2.0 下载地址为：/’； je-analysis-1.5.1.jar 下载地址为：/； HTMLParser-2.0 下载地址为：/projects/htmlparser/； 环境搭建与配置 JDK1.7 JDK安装的默认路径是“C:\Program Files\Java\jdk1.7.0_45”，JRE安装的默认路径是“C:\Program Files\Java\jre7”。所以在环境变量窗口中，单击“新建”，新建一个环境变量，变量名是“JAVA_HOME”，变量值为“C:\Program Files\Java\jdk1.7.0_45”；如图4-1所示。单击“新建”，新建一个环境变量，变量名是“CLASSPATH”，变量值为“%JAVA_HOME%\jre7\librt.jar;.;”，如图4-2所示。在“Path”变量后添加“;%JAVA_HOME%\bin”，如图4-3所示。 图4-1 创建JAVA_HOME环境变量 图4-2 创建CLASSPATH 环境变量 图4-3 设置Path环境变量 Tomcat 将tomcat的压缩包解压到“C:\Program Files\apache-tomcat-6.0.37”，解压后新建环境变量“TOMCAT_HOME”，变量值为“C:\Program Files\apache-tomcat-6.0.37”，如图4-4所示。设置好后测试一下tomcat打开“bin”文件夹，运行“startup.bat”这个文件，这时tomcat会启动，并监听8080端口，运行结果如图4-5所示。在浏览器里输入http://localhost:8080，看到如图4-6所示，表明Tomcat运行正常。 图4-4 创建TOMCAT_HOME环境变量 图4-5 启动tomcat 图4-6 tomcat配置成功标志 Eclipse 在配置eclipse之前先关闭tomcat，双击点击“bin”文件夹下的“shutdown.bat”文件。然后，在eclipse菜单中单击Window→Preferences选项，在弹出的Preferences对话框中展开Server，选中Installed Runtimes，然后单击“Add”按钮，看到一个新的窗口，选中Apache Tomcat v6.0如图5-7所示。然后点击“Next”按钮，加入tomcat路径“C:\Program Files\apache-tomcat-6.0.37”，如图5-8所示。完成后，单击“Finish”按钮。这样Tomcat在Eclipse中就配置好了，如图5-9所示。 图4-7 添加新的Server 图4-8 选中tomcat的安装路径 如图4-9 添加好的tomcat Server Heritrix 图4-10 导入Heritrix的类库 解压heritrix-1.14.4-src,目录中有lib和src两个文件夹，lib文件夹存放的是Heritrix运行时候所需的第三方类库，src文件夹存放的是Heritrix的源代码。首先在 Eclipse 中新建 Java 工程 Heritrix。然后利用下载的源代码包根据以下步骤来配置这个工程。导入类库将 heritrix-1.14.4-src 下的 lib 文件夹拷贝到 Heritrix 项目根目录； 在 Heritrix 工程上右键单击选择“Build Path→Configure→Build Path …”，然后选择 Library 选项卡，单击“Add JARs …”在弹出的