基于GPU多模式网页精确匹配系统_用户使用手册word格式word格式.docVIP

基于GPU的多关键字网页精确匹配系统 用户使用手册 作者：彭江锋、施少怀、漆舒汉、杨植群 指导教师：陈虎 华南理工大学 2009年7月20日 文档目录 一、系统概述 3 1.1 系统运行流程 3 1.2 运行光盘说明 3 二、爬虫程序的使用 5 2.1 python-2.54的安装 5 2.2 修改脚本程序 6 2.3 运行网络爬虫 6 三、关键字预处理程序 8 四、并行匹配程序 10 一、系统概述 1.1 系统运行流程 基于GPU的多关键字网页精确匹配系统包括：网页爬虫程序、关键字预处理程序和基于GPU的匹配程序等三个部分。系统运行的基本流程如图1-1所示。 图1-1 系统运行的基本流程 整个系统的运行过程分为四个步骤： 1、运行爬虫程序，从Internet上获取网页，并存储在html目录中。 2、准备好待匹配关键字列表文件，运行关键字预处理程序，并将预处理的结果存储在特定文件中。 3、运行并行匹配程序，结果将存储在特定的result.html文件中。 4、用户使用浏览器浏览result.html，查阅匹配结果。 1.2 运行光盘说明 运行光盘中包含三个目录和三份文档，如图1-2所示：（注意：由于执行程序有写入操作，执行程序前请先将光盘内容拷贝至硬盘文件夹下，如D:\submit） 图1-2 运行光盘信息 “bin”目录：为“基于GPU的多关键字网页精确匹配系统”可执行程序和source，包含“source”、“爬虫程序”、“关键字预处理程序”和“并行匹配程序”。如图1-3所示： 图1-3 “bin”目录信息 “src”目录：为“基于GPU的多关键字网页精确匹配系统”所有源程序和资源文件source(包含pattern文件和html文件等)。源程序包括：“爬虫程序”、“关键字预处理程序”和“并行匹配程序”。如图1-4所示： 图1-4 “src”目录信息 “CPU_测试用例”目录： 包含CPU串行字符串匹配软件nrgrep、nrgrep使用说明及其测试用例。 doc 文档： “基于GPU的多模式网页精确匹配系统_设计和测试报告.doc”，该文档详细说明该系统的设计实现方法和测试结果以及性能分析等内容。 “基于GPU的多模式网页精确匹配系统_用户使用手册.doc”，该文档详细说明该系统的使用方法。 “intro.doc”，该文档为CUDA比赛官方要求填写文档。 二、爬虫程序的使用 爬虫程序是基于Python的脚本程序。整个运行过程包括以下步骤： 1、安装光盘中“爬虫”目录中的python－2.54安装程序，将此目录中的spider.py文件拷贝到python的目录中； 2、根据需要修改spider.py中的关键代码以指明要搜索的URL和存储的目录； 3、运行spider.py收集网页内容。 2.1 python-2.54的安装 爬虫目录下有三个文件：python-2.54安装程序、说明文本Readme.txt和爬虫脚本程序spider.py。如图2-1所示。 图2-1 爬虫目录下的文件 双击python-2.54，进入安装界面，并设置安装目录（这里设置为d:\Python25\）,如图2-2所示。 图2-2 设置python的安装目录 Python安装过程的其他对话框按缺省配置即可。在安装完成后，将“爬虫”目录下的spider.py拷贝到安装目录中（这里为d:\Python25\）。完成后的目录内容如图2-3所示。 图2-3 Python安装后的目录内容（图中红圈标识为spider.py脚本程序） 2.2 修改脚本程序 使用任意文本编辑器修改spider.py程序中的第72和73行。如图2-4所示。 图2-4 修改spider.py程序 其中第72行为网页收集后的存储目录（这里设置为D:\work\text_GPU\test_sample1\html目录），第73行为需要收集的网页URL（这里设置为/）。修改后保存，并退出文本编辑器。 2.3 运行网络爬虫 在命令行模式下，进入d:\Python25\目录，并运行spider.py程序，如图2-5所示。 图2-5 运行网络爬虫 图2-6 网络爬虫程序运行的典型输出 【注意】该网络爬虫程序不能自动停止，需要通过点击窗口关闭按钮方式停止。 在爬虫程序运行结束后，可以发现网页存储目录下（这里为D:\work\text_GPU\test_sample1\html）已经收集了大量的html文件。如图2-7所示。 图2-7 网络爬虫收集到的页面 三、关键字预处理程序 在“关键字预处理”目录中包含的preprocPatterns_win.exe文件为关键字预处理程序。双击运行该程序，将提示输入关键字集合文本，输入关键字文件路径和文件名。如图3-1： 图3-1 其中pattern_loca