WEB内容监控的研究与实现-信息安全专业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘 要 摘 要 在当前社会环境和 Internet 网络环境日趋复杂的条件下，网络信息已经对社会 的稳定和人们的生活产生了重大的影响。为了防止互联网上非法信息的传播和浏 览，对 WEB 内容进行主动监管，保证互联网环境的健康发展，成为关系社会稳定 的重要课题，因此研究主动对网站内容进行监控的技术具有重要的意义。 本论文对开源网络爬虫、WEB 信息抽取、文本挖掘相关技术进行研究，并在 此基础上实现了一个网络内容监控系统—WCMS（Web Content Monitor System）， 通过 WCMS 对网站内容进行主动监控，分析其网页内容，将网页内容热点排序展 示、内容分类展示、话题展示，便于监控者对网站内容进行分析和了解网络上的 热点信息。 WCMS 系统主要包括三个相互独立模块的研究与实现： 1) WCMS 爬虫与信息抽取模块：WCMS 爬虫基于开源网络爬虫进行扩展, 获 取 WEB 原始数据；通过对 WEB 信息抽取的研究，实现对 WEB 原始数据进行正 文内容、标题、评论等关键信息的抽取，并将 WEB 原始数据和提取的信息进行分 类保存，便于后续处理。 2) WCMS 信息处理模块：首先设计并实现了一个数据库存取接口，通过此接 口从数据库中取出网页正文内容集合。基于对文本挖掘相关技术的研究，对网页 正文内容集合进行文本预处理，然后进行文本分类、聚类处理，并将处理结果写 入数据库相应网页记录中。通过给网页标题、作者、评论、正文分类结果和聚类 结果各自赋予不同的权值，设计并实现了一个评估网页内容热点程度的方法，通 过此方法对网页内容进行热点排序，便于监控者发现网络上的热点信息。 3) WCMS 监控结果管理模块：通过本模块，自定义网络预警：当网页内容热 点超过某个阈值，系统会将这些网页相关信息自动呈现给监控者；查看监控网站 所关注的主要话题；查看网页内容热点排序；分类查看网页内容；用户还可以通 过关键字检索得到要想查看的热点网页，同时检索的结果可以分类展示。 关键词：WEB 内容监控，WCMS，信息抽取，文本分类，文本聚类 I ABSTRACT ABSTRACT Under the condition of current social and the increasingly complicated network environment, network information has had a great effect upon social stability and human life. In order to prevent the proliferation and browse of the illegal information, active supervision and protection of the network security become a significant topic of social stability. Thus, the active research of monitoring technology of the website can make a difference. This thesis dwells on the open source WEB crawlers, WEB information extraction and text mining technology, on the basis of which achieve a network content monitor system—WCMS (Web Content Monitor System). The active supervision of content of the website by WCMS, th