基于搜索引擎校园网站信息监控系统设计与实现.docVIP

基于搜索引擎校园网站信息监控系统设计与实现 　　摘要：互联网的发展为知识与信息的传播提供了前所未有的便利，但同时也为不良信息的传播提供了条件。高校作为互联网应用与研究的前沿阵地，信息安全尤为重要。为了防止校园网上非法信息的传播，实现对网上信息内容的主动监管，保护网络信息的安全，本文设计并实现了基于搜索引擎的网站内容监控系统，它主动地扫描校园网网站，获取网站内容信息，利用关键词匹配技术及时发现包含敏感词的网站，并将结果及时提供给网络管理员。通过使用本系统有效地防止了非法信息在校园网中的传播，实现了对校园网站的主动监控与管理。 　　关键词：信息安全；内容监控；校园网络；分词处理；搜索引擎 　　中图分类号：TP393.18文献标识码：B文章编号：1673-8454(2011)15-0034-03 　　 　　一、高校信息安全的现状 　　随着高校信息化建设的快速发展，校园网络已遍及学校的各个部门，一方面校园网站的数量迅速增长，精品课程等网站越来越多，网络已成为师生工作、学习、生活不可缺少的一部分；另一方面学校通过校园网站发布教学安排、学生管理、科研动态诸多方面的信息，学校的各项工作都与其形成密切的关系。然而网站信息安全管理却不容乐观，信息安全形势日趋严峻，由于网站大多是分散式的管理，网站管理人员安全防范意识不强，给计算机病毒和网络黑客以可乘之机，有的部门主页多次受到黑客的攻击，网页上的数据被更改，扰乱了学校正常的工作秩序。学校的电子留言板、公告板方便了师生交流，但同时也为非法言论等信息提供了交流的场所，一些不法分子利用网络传播小道消息，向高校散布有害信息，扰乱校园秩序。有的学生因在平时的学习、生活中受到一些委屈，就随意在网站中发表一些十分偏激的言辞， 或对学校老师进行人身攻击， 损坏了学校形象，因此网站信息安全监控成为亟待解决的问题。 　　目前由于缺乏成熟的、针对特定网络应用下的信息内容监控系统，对网站内容的检查都是通过人工来完成的。但是这种方法不能做到实时地监控，并且效率低下，无法适应网络发展的需要。人们迫切需要计算机辅助来进行网络内容的自动监控。 　　二、校园网络信息内容监控的现状与分析 　　目前对网络信息内容的监控主要是使用网络安全审计系统，通常部署在校园网络出口，通过对网络出口链路数据的镜像或者分光后从旁路接入审计系统，实时捕获网络数据包，还原并分析数据包的内容，可以实现对敏感关键字、非法URL的监控与过滤。这一类型的监控系统可以及时发现包含有非法词汇的网站，及时屏蔽包含该词汇的网页，使用户免受非法词汇的影响。但这种监控的缺点是它是一种被动的监控模式，只有通过出口访问的内容中包含敏感词汇才能被监控到，并且无法得到非法内容的来源，不能对整体的网络和特定网站中的网页信息进行监控。 　　基于这种现状，笔者设计实现了一个基于搜索引擎的网站内容监控系统。它主动扫描整个网站，获得网站的网页内容，并对内容进行预处理分析，利用关键词匹配技术对结果进行匹配，及时发现网站中包含的非法词汇，并将结果提供给管理员，方便管理员对网络内容进行监控，还可以与报警系统相关联实现邮件或者短信息报警，使网络管理员在第一时间采取相应的处理措施，及时阻止这些内容的传播。从而实现对网站信息主动、实时的监控。 　　三、本系统的设计与实现 　　网站内容监控的过程其实就是对校园网站内容进行搜索、分析、比较的过程。首先要获取被监控网站的网页作为数据源，然后对网页数据内容进行分析预处理，为搜集到的网页建立索引数据库和分词库信息。通过与用户设定的敏感关键字或URL链接信息进行对比匹配，从分词库中查找到包含敏感关键词的网页URL，再通过网页索引在网页信息数据库中查找并返回整个网页的全部内容。通过以上分析与研究，网站信息监控系统主要由以下五个功能模块组成：网站内容采集模块、网页分析预处理模块、自动分词模块、查询匹配模块、结果反馈模块。为了提高搜索运行的效率本系统使用C++多线程设计完成。处理流程如图1所示。 　　1．网站内容采集模块 　　采集模块主要完成获取网页内容、分析链接、存储网页信息的功能。采集模块的核心是网页抓取程序，网页抓取的过程是从URL库（初始为用户指定的URL集合）获得输入，解析URL中标明的Web服务器地址、与服务器建立连接、构造请求消息体并发送给服务器、获取服务器返回的网页信息，最后将获得的网页数据存储在网页信息数据库。我们使用网页抓取程序自动对指定IP范围内的网站进行遍历，主动发现网站信息。网页抓取程序将沿着网页上的链接按照深度优先算法进行网页搜集，然后从本网页中解析出所包含的的URL链接信息，看是否已经被访问过，将未访问的URL加入到URL列表中供网页抓取程序继续搜索，并从URL列表中移除已访问过的URL，最后将URL、IP地址、采