网络数据库基础.ppt

XML*XML是TheExtensibleMarkupLanguage(可扩展标识语言)的简写。目前推荐遵循的是W3C组织于2000年10月6日发布的XML1.0版本，参考（XML。和HTML一样，XML同样来源于SGML，但XML是一种能定义其他语言的语。XML最初设计的目的是弥补HTML的不足，以强大的扩展性满足网络信息发布的需要，后来逐渐用于网络数据的转换和描述。WWW工作原理*搜索引擎*【概念】搜索引擎(searchengine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，为用户提供检索服务的系统。从使用者的角度看，搜索引擎提供一个包含搜索框的页面，在搜索框输入词语，通过浏览器提交给搜索引擎后，搜索引擎就会返回跟用户输入的内容相关的信息列表。工作原理*用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。06搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。其他还包括去除重复网页、分析超链接、计算网页的重要度。04抓取网页01处理网页03提供检索服务05每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider顺着网页中的超链接，连续地抓取网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。02体系结构设计*01020304网络蜘蛛通常被设为队列缓冲，多线程并行结构，网络蜘蛛有3大模块：P下载模块利用HTTP网络协议下载，获取存储网页内容。析模块能够提取网页内的超链接，用来获得后续页面入口。制模块控制网页访问次序，更新策略，访问队列调度等工作。网络蜘蛛基本结构和工作流程*定期保存到网页数据库，为后续索引做准备重复上述过程直到全部下载完成，等待新的任务寻找空闲的HTTP下载模块，分配URL，启动下载任务。链接分析模块提取页面内的新链接，存入URL数据库等待下载HTTP下载模块访问互联网，得到的网页内容放入结果队列访问URL数据库，读取URL入口地址，生成内存访问队列。web程序设计语言*01ASP(ActiveServerPages)是目前非常流行的开放式的Web服务器的应用程序开发技术。他将脚本,超文本和强大的数据库访问功能结合在一起,并提供了众多的服务端组件可供程序直接调用,为程序开发员们提供了极大的方便.ASP02ASP.NETAsp.Net是微软推出的ASP的新一代语言,底层采用.Net框架,提供了比ASP更为丰富的实用性和易用性,开发平台*IIS01.Dreamweaver02.viusal?03.首先需要建立一个空的URL数据库，并且把起始根urls添加到URL数据库中（步骤1），依据URL数据库在新创建的segment中生成fetchlist，存放了待爬行的URLs（步骤2），根据fetchlist从Internet进行相关网页内容的爬行抓取与下载（步骤3），随后把这些抓取到的内容解析成文本与数据（步骤4），从中提取出新的网页链接URL，并对URL数据库进行更新（步骤5），重复步骤2-5直到达到被指定的爬行抓取深度。以上过程构成了Nutch的整个抓取过程，可以用一个循环来对其进行描述：生成→抓取→更新→循环。当抓取过程完成后，对抓取到的网页进行反向索引，对重复的内容与URL进行剔除，然后对多个索引进行合并，为搜索建立统一的索引库，而后用户可通过由Tomcat容器提供的Nutch用户界面提交搜索请求，然后由Lucene对索引库进行查询，并返回搜索结果给用户，完成整个搜索过程。Nutch程序采用Java语言编写，其运行环境需要一个Tomcat容器。本文运行环境以最新的j2sdk1.4.2_12及jakarta-tomcat-5.0.28为例。使用Nutch进行数据抓取*网络数据库基础*第八章并发控制8.1并发控制概述8.2封锁8.3封锁协议8.4活锁和死锁8.5并发调度的可串行性8.6两段锁协议8.7封锁的粒度8.8Oracle的并发控制8.9小结多事务执行方式*事务串行执行01交叉并发方式（interleavedconcurrency）02同时并发方式（simultaneousconcurrency）038.1并发控制概述*并发控制机制的任务对并