基于内容网络异常信息过滤.docVIP

基于内容网络异常信息过滤摘 要： 虽然网络促进社会经济的发展与进步，但是在互联网规模的不断扩大下，恶意邮件和不良网络，以及不健康网络内容的传播等都将严重影响网络健康运行。因此，对内容的网络异常信息过滤的安全保护成为人们关注的焦点。通过简要介绍网络异常信息过滤，对网络异常信息过滤模型进行分析，并设计基于内容的网络异常信息过滤系统，同时通过试验与分析证明其实用的价值。 关键词： 网络内容安全；信息过滤；安全过滤；分析为了确保网络内容安全，主要是针对数据和社会安全信息的过滤。这种基于内容的网络异常信息过滤可以分为以用户兴趣为主的过滤和以网络安全为主的过滤。异常监测和发现网络中存在的异常行为，及时处理新的网络威胁。由于各种不健康的信息内容不仅影响到人们的正常工作和学习，还影响到了人们的身心健康。因此，对不良信息网站的监管和屏蔽过滤不良信息是确保网络内容安全的关键部分。 1 网络异常信息过滤 信息过滤主要分为安全信息过滤和用户信息过滤两种，是对文档进行筛选的过程。目前网络异常信息过滤的方式有很多种，例如：网络内容分级过滤和关键词匹配过滤、文本内容过滤，以及基于URL过滤等都是通过对网络信息的分级和分类所实行的过滤方式。 在网络中，使计算机安全系统和信息安全流通受阻的信息称之为有害信息，也叫异常信息。为了避免有害信息造成危害，最好的方式就是将他们的传播进行阻断。由于网络分布和海量数据的原因，人工方式是难以对异常信息自动过滤的。因此，基于内容的网络异常信息过滤所使用的技术和方式都存在许多类似，都是从源信息中分辨出所要过滤的信息，然后进行处理。其实现的方式都可以利用自动检索和分类，以及标引等方式处理。 2 网络异常信息过滤模型 信息过滤属于某种系统化的方式，主要是从动态的信息流中获取与用户需求相符的信息。与以往的信息过滤模式相比，针对网络异常信息过滤的技术更具有可扩展性和适合大量信息与用户的规模。由于信息过滤技术能够及时为用户提供个性化的服务，因此，该技术具有较高的智能化和自动化。根据过滤系统结构可分为：基于内容的过滤和协作过滤，以及经济学过滤；根据过滤的目的可分为：推荐系统和阻挡系统；根据过滤的不同应用可分为：专门过滤软件和网络应用程序，以及其他过滤工具；根据操作主动性可分为：主动和被动型信息过滤系统；根据过滤模板所在的位置可以分为：上、下游过滤等。通过人们从网络中获取信息的过程，以基于内容的过滤和协作过滤构建一个通用的信息过滤模型，将人工信息处理映射到计算机中处理进行信息过滤。根据信息过滤模型我们可以知道，信息过滤可以分为四个阶段：信息获取和信息处理阶段、模式匹配和信息表示阶段。主要是从某以信息源中获取所需原始信息，然后根据规则剔除和提取信息最小和最大的成分，并采用一定格式来表示计算获取一定阈值后，输出到敏感信息集合中进行过滤的管理，最后对过滤的效果进行评价与反馈。 在一般的信息过滤模型中，信息的过滤是由原始信息转化到结构信息，然后再转化到敏感信息的过程。而在网络中，网络信息过滤主要是要处理流经网络边界的信息过滤。因此，要实现基于内容的网络异常信息过滤必须要处理对信息的获取和处理，以及模式匹配和敏感信息表示。如下图1所示： 从图中我们得知，基于内容的网络异常信息过滤模型主要包括对数据包的捕获、协议分析、VSM的构建、文档特征的提取，以及文档过滤器。其中，数据包捕获和协议分析是对网络中数据通信的监听，截获网络中与WWW和E—mail服务相符的原始数据帧，并传送到网络协议分析器中进行协议头信息的分离，提取相关数据构成文档，以文本数据形式展现；VSM的构建是向量空间模型转换成表示形式，由过滤匹配运算转换成数值运算的过滤过程；文档特征的提取和文档过滤器是通过人工标定分类、统计等方式选取最具有文档特征的数据形成的过滤规则，并通过文档特征提取对文档中的信息进行相似度计算，以确定文档的属性。 3 基于内容的网络异常信息过滤系统的设计与实现 3.1 系统基本框架设计 根据对内容的网络异常信息过滤模型的分析，系统首先设置了URL过滤模块以达到与网址和地址库的匹配，其次，采用关键词过滤模块对异常存在的文档进行过滤，同时在内容过滤模块中，利用SVM算法与决策树理论结合的方式，设置一个多层次的SVM分类器，以实现多话题异常信息的识别。 词库主要有基本分词词库和一级不良词汇词库，以及二级不良词汇词库。基于内容的网络异常信息过滤的实现主要是通过对支持向量机分类器的改进，其中，分为两个部分：训练部分和过滤部分。前者是对文本内容的提取和分词等进行预处理，然后利用处理后的文本样本构造新的均衡样本空间作为SVM的训练样本，并结合C—KNN完成对样本的裁剪，以获取SVM分类器；而后者主要是通过对SVM函数的组合进行的内容过滤。