移动互联网不良信息监测系统剖析.docVIP

移动互联网不良信息监测系统剖析 　　摘 要：移动网络的普及，丰富了人们网上冲浪的方式，提高了网络使用效率，促进了互联网的发展，也给网络信息管理提出更高的要求。移动互联网络信息安全问题已经引起政府部门和社会各界的普遍关注。文章围绕移动互联网不良信息监测技术有关问题进行讨论，介绍了移动网络不良信息过滤方法和主要应用技术，讨论了信息过滤监测系统基本要素。 　　关键词：不良信息监测系统；爬虫技术；网络协议解析技术；CMNET 　　引言 　　随着信息技术、网络技术等学科的不断发展，以智能手机、平板电脑等设备为用户终端的移动网络日益繁荣。与此同时，移动、电信等通讯服务供应商提供了许多种上网业务，进一步促进了移动互联网的发展。移动互联网的出现与成长，在促进了互联网整体发展的同时，其开放性的访问机制、种类繁多的信息资源和上网用户移动性高等特点给移动互联网的管理，特别是信息管理方面带来了更大的困难。大量不良信息利用移动互联网的管理宽松的条件在网上迅速传递，污染了网络环境，给国家安全、经济建设、社会和谐乃至个人切身利益都造成了严重损害。加强移动互联网信息监测管理，营造纯净的网络环境，是我国有中国特色的社会主义事业顺利推进、经济体制改革深入实施、实现国家富强和社会稳定的重要保障措施。 　　1 移动网络不良信息过滤方法 　　移动互联网运行机制和容纳的信息种类较多。实际工作中，根据网络运行机制和监督的内容种类的不同采用不同方法予以过滤、监督。常见的移动互联网不良信息过滤方法有以下几种。 　　1.1 分级法 　　通过将互联网上的信息按照一定标准进行分级、分类，然后根据各自的级别采用针对性的处置措施的网络信息管理方法称之为分级法。纳入分级体系的网页都会得到一个分级标记，当用户访问该网页时将其与过滤模板进行比较进而选址处置方案。 　　1.2 依据URL的站点过滤技术 　　和分级法不同的是，站点过滤技术采用的是以站点为监测对象。该方法的前置要件是要有一个不良站点列表。系统通过对比用户访问站点的URL和列表中站点进行对比来决定是否过滤。因此，不良站点列表越齐全、越准确，那么该方法的执行效率和质量也就越高。基于URL的站点过滤技术是当前主流互联网不良信息监测方法，广泛应用于国内、外的网络信息过滤产品中。使用该方法，重点是对不良站点列表的维护和整理。 　　1.3 依据内容关键字的过滤技术 　　该项技术是人工智能技术在网络管理方面的一个重要应用。由于单纯对比关键字而忽视语境、语义的影响，使得关键字过滤技术的错误率较高，严重影响用户上网体验。因此，通过应用人工智能技术将语义分析引入网络信息关键字过滤工作中，以提高分析判断精度。但该技术缺陷也较为明显，主要是实行效果和人工智能技术水平直接相关。由于当前人工智能技术还不够完善，用户不能自定义问题判定标准。所以该方法在实际工作中产品较少，主要应用于某些特定领域，同时需要消耗大量计算机资源。 　　1.4 其他信息过滤的方法 　　除了上述方法外，下面两种方法也较为常用。 　　一个是图像识别技术。该技术以图像的色彩、深浅、形状和彼此间的位置关系为对比要素，将用户访问的图像和数据库中的标准图像进行对比，根据二者间的相似度决定目标图像的处理方案。由于图像描述精确程度较低，在应用过程中会造成一定程度的误判，实际使用效果水平不高，有待继续开发。 　　二是动态跟踪技术。该技术通过对用户访问网络情况的跟踪记录，实现对用户上网行为的全程监控，并以此为依据改进信息监控、过滤相关方案。记录的内容包括访问的时间、网页、流量、出错情况、屏幕快照、过滤原因、网页所属类目、关键词等内容。 　　2 不良信息监测系统主要应用技术 　　2.1 爬虫技术 　　顾名思义，爬虫技术就是利用半自动程序对互联网上网页信息进行采集，由于其情形如同爬虫在物体上爬行一般，所以将这种程序称之为爬虫。爬虫程序在启动时，需要一个初始链接，如同爬虫爬行的出发点，其后爬虫程序进入自动运行，自动决策其“旅行”路线，这也是爬虫程序半自动化的主要特征。爬虫程序会对起始页面进行扫描，经由页面中包含的链接访问其他页面，然后再对新页面的链接进行扫描，从而去往下一个页面。单纯从理论而言，只要条件允许，爬虫程序访问到互联网上所有页面。这是因为互联网上的页面彼此间或多或少都会有链接存在。爬虫技术的优点是通过爬虫程序的自动运行，可以通过获取URL最大限度的对网页、网站上的各类信息，比如文本、图片和音频、视频等进行下载分析，从而达到主动监控网站的目的。但由于该技术依赖爬虫程序的正常有效运行，一旦网站环境采用对爬虫程序进行限制的技术，比如用户验证码、反爬虫技术等，其监测效果就会大幅下降。 　　2.2 网络协议解析技术 　　该技术是建立在网络协议采用层次开发方式的基础上的