补充教材5 搜索引擎的“盲区”.docVIP

补充教材5： 搜索引擎的网络搜索 “盲区” 在互联网上可获得的但传统的搜索引擎由于技术限制不能搜寻到或者经过慎重考虑后不愿意作索引的那些文本网页、文件或其他高质量、权威的信息。中文又有“隐形网络”“隐蔽网络”、“看不见的网络”、“深网”、“暗资源”等说法。 理解其含义可从与之相对Visible Web（又称Surface Web）手。Visible Web指用户通过一般搜索引擎可以检索到的网络资源，Invisible Web即指可通过万维网获得的文本网页、文件或其他高质量的权威性信息，但由于技术限制，或是由于特定选择而不能或未被纳入通用搜索引擎的网页索引。换句话说，就是说这些内容本身并非“看不见”，但是，由于绝大多数网络用户使用信息检索工具很难查到这些内容。因此，才说这 （一）为何网络“看不见” 1．搜索引擎自身存在的技术障碍 (1)搜索引擎自动代理搜索软件的工作原理（通过点击网页上的超链接来提取新 搜索引擎通过点击网页上的超链接获得新的网址，如果一些网页既未与任何其他网页建立相关链接，也没有主动提交给搜索引擎的话，搜索引擎根本无法对其进行索引，这些无法被索引的网页资源就成为网络的空白地带，也构成了“看不见”的网络中最基本的组成部分。 (2)搜索引擎索引没有文字线索的非文本类型的文件能力较弱 搜索引擎对许多类型的非文本文件的索引能力很弱，也会造成这类文件的“隐蔽”，许多极少或根本不带文本的图像、声频或视频文件根本无法被搜索引 (3)搜索引擎仍以静态网页为主要索引对象，无法实现对动态信息的检索 搜索引擎对动态信息的检索能力较差。像如股票报价、气候信息、航班到达信息等流动或实时数据，由于其变化过于频繁，且具有很强的时效性，所以没有必要对其索引，另外，与实时信息保持同步需要耗费太多的资源，这对于自动代理软件来说实际上是不可能的。 (4)搜索引擎不能完成输入动作，无法检索网络数据库搜索引擎通过自动代理软件工作，而这些软件无法进行“type”（输入）动作，就无法完成登录、输入检索词等动作，这给搜索引擎带来了最大的技术难题即无法检索存储在数据库中的信息。因为网络数据库采用的是以数据库为后台、动态网页技术与数据库技术相结合的资源组织方式。用户在网络数据库检索页面上输入检索词，获得的页面是针对用户此次的检索词和其他一些检索限制而动态生成的网页，谓之动态网页。但是，搜索引擎代理软件无法像人一样与数据库进行交互，完成诸如输入密码、 2．搜索引擎对自动代理软件的访问限制 (1)对搜索内容的格式进行限制导致不可见搜索引擎一般只收录HTML网页文件，而对于用户不经常检索的文件格式，比如PDF或附件（Google除外）、Flash、Shockwave、Executables（程序）、压缩文件(．zip，．rar)等选择不加收录，这主要是基于商业因素的考虑所致。HTML是互联网上最基本的通用语言，搜索引擎的自动代理软件最擅长处理HTML语言写成的网页文件，处理其他类型的文件在技术上没有很大的难题，但因为对这类文件的需求要比超文本文件的需求少得多，这类格式需要更多的计算资源和运营成本，所以搜索引擎开发商一般将之排除在外。不过近两年来已有一些搜索引擎正在努力扩展和完善其检索服务，例如Google、百度，现在可以通过Google、百度检索图片、PDF、Word、Power Point等多种格式的文档。 (2)搜索引擎对索引深度、索引频率的限制导致不可见搜索引擎对代理软件索引网页的深度和数量一般都有所限制，通常索引网站主页及下级页面，而不可能深入到所有页面，在搜索数量上也有最大容量的限制，使得某一站点的网页不可能每一页都收录。搜索引擎对文档搜索频率也有限制，如新网页或某个网站内容更新，搜索引擎更新数据库的时间间隔一般是1～2个月，而每个月大约有40%的网页会发生变动，在此期间这些Google刷新数据库的时间间隔通常为1个月，一般1个月后网页便可出现在搜索结果中，但对于一个全新的网站来说，这一过程可能需要2个月。 (3) Spider陷阱对于基于脚本语言的网页，如果其URL中含有“？”，SPIDER通常放弃对该类网页的访问。为什么呢？因为在访问此种网页时，SPIDER有可能陷入恶意的“SPIDER TRAP”程序当中，导致SPIDER陷入死循环，影响搜索引擎的正常运转。因此，搜索引擎一般限制SPIDER访问该类网页。 (4)因遵守机器人排除协议或当地政策限制而不可见机器人协议是一套规则，按照该规则，网站管理员可以规定服务器的哪些部分允许搜索引擎自动代理软件进入，哪些部分不可进入。管理员只需创建一个不能被搜索和标引的文件或目录表，并将该表以Robot. txt命名的文件储存在服务器中。Robot. txt文件主要用于防止对个人网页、文件组甚至