网络爬虫对网络安全的影响及其对策分析.pdfVIP

总第 242期 计算机与数字工程 Vo1．37No．12 Computer＆DigitalEngineering 86 2009年第 12期 网络爬虫对网络安全的影响及其对策分析 梁雪松 张 容 (四川教育学院物理系 成都 610041) 摘 要 网络爬虫已经广泛应用于互联网，能完成许多有用的工作，同时也会对网络安全产生一定的负面影响。文章 论述了网络爬虫对网络安全构成的威胁，并重点提出对其不利影响的应对策略。 关键词 网络爬虫 搜索引擎 机器人排除协议 Web日志 中图分类号 TP393．O8 InfluencesandCountermeasuresofW ebCrawleronNetworkSecurity LiangXuesong ZhangRong (Dept．ofPhysics，SichuanCollegeofEducation，Chengdu 610041) Abstract WebcrawlerhasbeenwidelyusedintheInternet，canperform anumberofusefultasks，meanwhilealso posesnegativeinfluencesonnetworksecurity．Thepaperdescribesnetworksecuritythreatsbywebcrawlers，andespecial— lypresentssolutionstobadinfluencesofwebcrawlers． Keywords webcrawler，searchengine，robotsexclusionprotocol，weblog ClassNumber TP393．O8 时，会返回一个 目录列表口]。该 目录列表通常包括 1 网络爬虫对网络安全的影响 一 个描述当前 目录的标题，可供用户点击的目录和 网络爬虫(WebCrawler)，又称网络蜘蛛 (Web 文件链接，及一个脚注(通常指明了Web服务器的 Spider)或网络机器人 (WebRobot)，是一种 自动抓 名称与版本，甚至可能进一步说 明Web服务器 的 取万维网资源的程序，已被广泛应用于互联网。搜 端口号与采用的操作系统等信息)。因而通过抓取 索引擎使用 网络爬虫 (如百度 的 Baiduspider， 目录列表 ，恶意用户往往可获取大量有用的资料， Google的Googlebot与 Yahoo的 Slurp等)抓取 包括站点的 目录结构、敏感文件以及 web服务器 Web网页、图片和文档等资源 ，供互联 网用户查 配置信息等等。 询。Web网站管理员使用爬虫程序实现网站镜像 2)搜索测试页面、联机手册与样本程序 ：大多 与维护等工作 。然而，网络爬虫也会对互联网的安 数 Web服务器软件 附带了测试页面、联机手册与 全带来隐患。 样本程序 。这些文件往往会泄漏大量的系统信息 网络爬虫会 占用网络带宽并增加 Web服务器 (比如服务器类型、版本等)，成为恶意用户剖析 的处理开销 ，恶意用户甚至会利用爬虫程序对服务 Web服务器的工具，而且这些文件 的存在也往往 器发动Dos攻击 。恶意用户还可能通过网络爬虫 暗示网站的安全管理有问题，网站中存在潜在的安 抓取各种敏感资料，主要表现在以下几个方面： 全漏洞 。 1)搜索 目录列表 ：互联网中的许多Web服务 3)搜索管理员登录页面：许多网络产品 (硬件