网络有害信息的发现机制研究综述.pdfVIP

网络有害信息的发现机制研究综述 林向阳 中国移动通信集团福建有限公司福州分公司支撑中心福建350001 摘要：伴随瓦联网的快速发展，网络有害信息的传播和扩散巳成为一个迫切需要解决的问题。本文总结并分析了国内外 近年来在网络有害信息的发现机制等方面的研究，探讨了进一步的研究方向。 关键词：互联网，网络安全，有害信息l监测 O引言 (3)检索器。用户的查询在索引库中快速检出文档，进 互联网的快速发展使得人们可以很方便的获得各种信息， 行文档与查询的相关度评价，对将要输出的结果进行排序， 与此同时，抵御互联网E的反动、淫秽或色情等有害信息的 并实现某种用户相关性反馈机制， 思想文化渗透成了一个迫切需要解决的问题。如何监管和控 (4)用户接口。主要作用是输入用户查询、显示查询结 制这些有害信息，使之不会对互联网和国家社会造成危害， 果、提供用户相关性反馈机制。主要目的是方便用户使用搜 是一个颇具研究价值的课题。 索引擎，高效率和多方式地从搜索引擎中得到有效并且及时 互联网上主要有两类有害信息：一类是反动、色情、迷 的信息。 信、谩骂和机密等有碍社会公德和不便公开的信息；另一类 1．2内容过滤技术 是会影响互联网本身和用户计算机安全的不良代码，如特殊 内容过滤技术一般包括名单过滤技术、关键词过滤技术、 控制、计算机病毒等。 图像过滤技术、模版过滤技术和智能过滤技术等。 l网络有害信息的发现研究 现阶段的内容过滤技术主要分为基于网关和基于代理两 网络有害信息的发现机制主要有主动发现和被动防御两 种，二者都不能解决的问题是对网络速度的负面影响。而且 种方式。主动发现的方式主要有基于搜索引擎的有害信息主 因为是串行处理，如果网关和代理出现故障都会使网络不通。 动监测，被动防御的方式以网络内容过滤为主。 目前过滤技术大多在网络处理的应用层实现，适应性和 1．1基于搜索引擎的有害信息主动监测技术 安全性较差。基于网络层的实现，最大的挑战有两个方面：首 采用主动扫描探测方法进行有害信息监控的系统，首先 先，应用层分析技术必须全面，因为直接对网络包进行应用 层分析，需要充分了解需要过滤的所有应用在网络层是如何 要设计网络蜘蛛模块，实现对html、asp、php和jsp等网页的 自动抓取，采用算法实现中文分词，开发信息索引模块，实 实现的。其次，是实现兼容性，为实现与操作系统网络底层 现对网页的批量和增量索引，并且包含有害信息检索模块， 处理融合，需要充分了解操作系统网络实现机制，甚至替代 实现有害信息监控及预警功能。 部分功能，如何不影响操作系统的原有功能是相当困难的， 搜索引擎，概括起来其组成大致分为四个部分： 特别是在Windows环境缺乏底层资料的情况下。 (1)搜索器。主要完成互联网上获取网页和链接结构信1．3有害信息监测的核心技术 息进行分析处理； 有害信息监铡的核心技术包括分词技术、文本内容分类， (2)索引器。理解搜索器所搜索的信息，从中抽取出索引关键字识别、变形关键字识别、锚文本分析、有害代码特征 项，用于表示文档以及生成文档库的索引表，为用户检索奠定 识别等。 基础。索引器可以使用集中式索引算法或分布式索引算法， 1．3．1分词技术 32面I鹜安呈技术与四用2010．1 万方数据 对网页进行监测时需要进行特征项的提取。对于英文文 所在。通过分析这个描述文本，就可以得到网页之间重要的 本，一般足进行词汇的提取，由于词汇之间有天然的分隔符 关系。导向词是一组关键词，它们会引导搜索器按照一定顺 (空格)，所以特征项的提取比较容易。中文信息没有这个特 序搜索网络。通过设置导向词以及对应的权值，锚文本中含 点，所以必须采用中文分词技术，把没