国际互联网数据抓取系统和数据库存储系统介绍.pdfVIP

国际互联网数据抓取系统和数据库存储系统介绍 李锋(1)陶兰(2) 00083 (1)中国农业大学信息与电气工程学院1 博士研究生，研究方向：网格计算，网络安全 8060 (2)深圳大学信息工程学院，51 Information Shenzhen Faculty EngineeringUniversity，Shenzhen 51 8060，China 教授，博士生导师，研究方向：网格计算，语义web，生 物信息学 国际互联网数据抓取系统和数据库存储系统是集互联网 信息的抓取采集、分类处理、数据库存储以及数据查询 浏览、统计分析和管理维护等功能于一体的信息管理系 统． 1、系统综述 国际互联网数据抓取系统和数据库存储系统可实现快速高效地从互联 网上抓取指定数据到本地，对互联网上的多种数据类型包括静态网页，动 态网页，论坛和聊天室数据，流媒体数据和视频、音频同步屏幕录像等数 据都可进行识别和抓取以及建立网站镜像。并且能够根据用户的需求，对 抓取到的各类数据进行分类和整理，并存储到数据库中。同时，系统可建 立强大的索引，统计和管理机制，利用数据库全文检索、数据分析等核心 技术和数据库存储和管理功能，把复杂、海量的数据有效地结合和充分利 用起来，提供各种数据统计分析和查询洲览功能，并可实现对数据进行管 理、备份等维护功能。 2、系统总体结构和功能模块 国际互联网数据抓取系统和数据库存储系统采用C／SI作方式。Server 主要负责用户管理，审计跟踪等功能。Client端软件可运行在多台Win— dows2000或Windows XP系统上，Client端软件主要负责数据抓取采集，提 交存储，分类处理，数据库查询和维护等功能。在Client端软件和Server 端软件之间通信可考虑建立数据加密传输通道。 在网络拓扑结构上，建议采用防火墙部署在互联网络出口处，隔离内 网和互联网，防火墙自身具有高度的安全性，并能提供全面细致的安全策 略，保护国际互联网数据抓取系统和数据库存储系统。同时可以显著加快 数据抓取速度，提高系统的工作效率。为保护数据库安全，在内网中部署 一台服务器和多台客户端机器，在内网和数据库服务器之间部署防火墙， 保护数据库服务器的数据。 考虑采用防病毒软件部署在内网，实现对抓取到的数据进行病毒查杀。 国际互联网数据抓取系统和数据库存储系统的拓扑结构如图1所示。 图1 国际互联网数据抓取系统和数据库存储系统的主要功能模块如图2所 示。详细描述见后部分。 图2 57 3、功能模块介绍 3．1用户管理 国际互联网数据抓取系统和数据库存储系统提供对用户按角色进行分 级管理，系统能提供多级权限划分，定制各级乃至每个用户的权限的功能。 系统缺省设置系统管理员用户一个，缺省的用户名为admin，IZl令为 adminl23，登录后可以进行修改。该管理员用户能利用专用界面方便地对 用户的登录及数据库操作进行审计，随时查看审计记录。可以对用户进行 添加、删除、更改用户属性信息和划分用户级别等操作。 通过在服务器端软件处使用小型关系型数据库，实现维护用户的属性 信息，安全功能和级别信息和审计信息。其中用户的属性信息包括用户名， 121令，用户状态，安全级别等。安全功能和级别信息包括安全级别的名称 和对应的功能组合，审计信息包括用户登录时间，名称，成功或失败标记 等，以及后面提到的对于抓取行为的审计记录等。 3．2自身安全 国际互联网数据抓取系统和数据库存储系统与外网