简易网络蜘蛛制作.pptVIP

简易网络蜘蛛的制作 姓 名： 班 级： 指导教师： 瘸具旨芦工稠路身埋峻宏缠株燃肖押蔚吩陵屹验钱劝虐票锻特邦瓷滩吮汲简易网络蜘蛛的制作简易网络蜘蛛的制作 系统开发背景 随着互联网信息的飞速发展，网络信息迅速膨胀，互联网成为了人们获取信息的最重要的途径之一。搜索引擎正是在这个这个时代背景下，为解决用户快速准确地检索信息而诞生的互联网信息检索技术。 本次设计涉及对网络蜘蛛的研究，主要包括两个部分：网络蜘蛛提取互联网信息和实现关键字检索。设计的目的是：初步认识搜索引擎的基本工作原理。 奉狈暴酷拌段拂茧故蛙夷票该俐策赞屡蛛到刺衔蛮烈纱带指拎筋厚编势壤简易网络蜘蛛的制作简易网络蜘蛛的制作 系统软件环境 本系统采用的软件工具有: Windows XP Visual Studio 2008 SQL Server 2005 IIS 6.0 Inertnet Explorer 6.0以上(IE8) 蜒半盅戍胶涯咱梧偷赢锑戈铂藕菏吓噎出娘冠孩辕邀暂绰账耐缺环宛酌属简易网络蜘蛛的制作简易网络蜘蛛的制作 结构图 一、系统概述 二、蜘蛛程序的两种访问策略 三、蜘蛛抓取流程 四、蜘蛛模拟结果演示 五、结 论 六、致 谢 谓侍缩但亲秀炽松缀欲醋着蝴詹驭淋虽粘下彪孪领咙泅涂晤怖瞬几镐蛀敢简易网络蜘蛛的制作简易网络蜘蛛的制作 系统概述 本系统第一部分采用C/S结构，主要实现用户指定起始URL和线程数，单击启动，蜘蛛程序从指定的URL进入，检索并分析、提取网页的信息，建立检索的数据库。主要有多线程执行蜘蛛、分析页面、提取信息三个部分。 系统第二部分采用B/S结构，采用SQL Sever 2005作为数据库，实现根据关键字检索相关的信息，并对检索的信息分页显示。 锰拈娘孵赘鱼挺蜘隔饿寐移镊群撑沈饯嗣炉春伐赂泅炼惠瑟硅楷仟官个县简易网络蜘蛛的制作简易网络蜘蛛的制作 蜘蛛程序的两种访问策略 一、深度优先遍历 二、广度优先遍历 当懊衔邵躬内挡缀郡伦稼锹辨佑稻严击矢盏捣谁躯学箔瑚进能挂沁激全螟简易网络蜘蛛的制作简易网络蜘蛛的制作 蜘蛛抓取流程 Spider 获得起始URL URL是否 处理过 是 根据遍历算 法，提交下 个要处理的 URL 根据解析的HREF属性获得页面链接 否 把URL载入 已处理的 URL数据库 解析的页面内容 Spider 工作流程图 解析HTML 孩熔片朋门司谰络掀灯特莱异柏沏让束稍冗姓渠拟氖绣粟趣扛诉热午代缄简易网络蜘蛛的制作简易网络蜘蛛的制作 蜘蛛模拟结果演示(一) 蜘蛛启动页面 伞句控搔熙退于汹门咨斡勺烧温匝焙候蓉其意白嚼兵过惠达粤血娟差谢斗简易网络蜘蛛的制作简易网络蜘蛛的制作 蜘蛛模拟结果演示(二) 模拟关键字搜索 烟涪状碴偶帘肪陪茧埠赖锦毖归桑渝联弥偷专抢卉赞驭孤模隔衍醇滋缀敌简易网络蜘蛛的制作简易网络蜘蛛的制作 蜘蛛模拟结果演示(三) 关键词搜索的结果 楞为旋转淆栓糟茁缺偶酿脑厚潦剐臣鸽复皂垢科狗疯糖稼禹物子反邀庞蛹简易网络蜘蛛的制作简易网络蜘蛛的制作 没有匹配的搜索结果 蜘蛛模拟结果演示(四) 悠噎秒码栈袁然窖钉第然琶修扳坠田镍届幼匝订彝则睁铱邢拦授蚁拣舞朽简易网络蜘蛛的制作简易网络蜘蛛的制作 蜘蛛的抓取效率 受个人专业技术水平的限制，本次模拟的蜘蛛的抓取效率比一般的蜘蛛偏低，平均速度530个网页/分钟。追虹网络蜘蛛性能是百度网络蜘蛛性能的10倍，最快速度可以达到抓取网页6000个网页/分钟。 屁柔沼勺帝掠捆蛮太艳露凉烘张骇团撼燥汗捉朔娟协胳蹦颠园咐柿莱确鸡简易网络蜘蛛的制作简易网络蜘蛛的制作 结 论 本毕业设计是以Visual Studio 2008和SQL Server 2005为基础，采用C/S和B/S结构相结合，开发的简易网络蜘蛛的制作。本次设计完成了基本所需的功能，实现了蜘蛛程序对互联网信息的采集和模拟关键字对信息的检索。本系统操作简单，界面友好，能够通过本次设计初步了解搜索引擎的工作原理。 但由于时间和能力有限，蜘蛛在分析、提取信息时，速度存在一些问题，在后续的开发中着重网络蜘蛛程序的效率方面的提高，以及搜索界面的优化和检索的效率提升，使系统更加具有实用性。 缨捍帝怂笛侄肄卢怒津乍陋子拂殃趟越渔隐嗜酸徘庚摸蛹侍铀淀券钢凌攘简易网络蜘蛛的制作简易网络蜘蛛的制作 致 谢 本文是在指导老师魏登峰老师的热情关心和指导下完成的，他悉心的教导和对毕业设计的进度关注、难点指导等等，都对我顺利完成本课题起到了极大的作用。在此向他表示我最衷心的感谢！ 在论文完成过程中，本人还得到了其它老师和同学的热心帮助，本人向他们表示深深的谢意！ 闲颊武阂瞒斗纽浴巢痹锤铺定点烯佐吵茹树贡杯作货辉旱霉艇冈振苦窃湍简易网络蜘蛛的制作简易网络蜘蛛的制作 谢 谢 辗独鲁