手机上网文本信息过滤系统设计与实现.docVIP

手机上网文本信息过滤系统设计与实现 　　摘 要： 随着手机上网业务的发展，手机网络的不良信息逐渐增多，引发很多社会问题，基于手机端的不良信息过滤软件又有很大的局限性，难以普及，基于服务器端，提出一种运用关键字过滤技术的手机上网文本信息过滤系统，实现不良文本信息的过滤。 　　关键词： Web服务；手机上网；文本信息过滤；过滤系统；3G；敏感词 　　中图分类号： TP391.1 文献标识码：A 文章编号：1671－7597（2011）1120051－02 　　 　　0 引言 　　工信部公布的2011年第二季度电信服务数据显示，截至二季度末，我国的手机用户数已突破9.2亿户，3G手机用户数更是突破了8000万户，但手机上网的安全问题已然成为阻碍移动互联网发展的瓶颈。尽管中国移动、联通、电信积极响应国家号召，并采取了一系列的有效措施和手段，但网络色情等不良信息依然难以杜绝，且日渐呈现出更为隐蔽、普遍的迹象。 　　不良信息过滤系统是抑制移动互联网中不良信息扩散的有效途径。目前国内外在网页内容鉴别上主要有四种过滤技术，即基于因特网内容分级平台（PICS）过滤、数据库过滤（IP库、URL库）、关键字过滤以及智能内容理解过滤[1]。在这四种过滤技术中，智能内容理解过滤技术无疑是过滤性能最好的一种，但是这项技术还不成熟、过滤速度慢，关键字过滤技术虽然不考虑上下文的关联性，错报率高，但过滤速度快，所以采取关键字过滤技术不失为一个行之有效的方案。 　　手机上网过滤方面的研究正处于初级阶段，目前还没有这方面的成熟产品。同时基于手机客户端的安全软件技术以及盈利模式方面的难题，仍然困扰着众多手机安全软件厂商们，他们仍在这些难题下艰难摸索。本文提出的基于服务器的手机上网文本过滤系统有效的禁止或限制了用户访问淫秽、色情等不良的互联网内容，从而为广大青少年网民提供健康、安全、文明的网络环境和内容。 　　1 系统模型设计 　　1.1 手机上网原理 　　手机端的浏览器[2]发出的浏览请求，首先发送至第三方的服务器[3]，由第三方的服务器进行代理，去直接连接互联网站。互联网站发送的网页数据发送给第三方服务器，并由第三方服务器对原来比较大的数据进行压缩整理，形成一个适合于手机接收显示的数据流量比较小的页面，再传送给手机浏览器端。这时候手机浏览器对压缩后的数据进行解析，显示在屏幕上。这种方式数据传输量比较小，数据失真，数据是间接传递所以安全性降低。网页显示效果不但取决于浏览器本身的解析，更和第三方服务器的数据压缩方式有必然的联系。现阶段业界基本上采用这种方式实现手机浏览器，例如市场占有率高达55.48%的UC浏览器。 　　1.2 系统总体设计 　　本系统采用上述原理实现手机上网文本过滤，在代理服务器上过滤从服务主机下载来的HTML源代码，此时代理服务器相当于一个文本过滤防火墙[4]，其结构图如图1所示。 　　 　　 　　图1 系统总体设计图 　　代理服务器：当手机浏览器输入URL后，浏览器将请求截获然后解析请求，并发送至目标服务器，当HTML代码返回后将内容发送至本地或网络的文本过滤中心，过滤中心再将处理后的页面返回给代理服务器，代理服务器将结果返回至手机终端。 　　过滤系统：具有文本解析过滤能力，负责HTML代码解析与过滤判断并将结果返回给代理服务器。 　　1.3 信息处理时序图 　　手机终端，代理服务器，网络主机、业务系统和过滤系统处理部分之间的信息处理时序图如图2所示。 　　 　　 　　图2 信息处理时序图 　　手机终端请求信息发送给代理服务器，代理服务器将请求分配给业务系统，业务系统解析出真实的网络访问地址，请求参数等，并将这些信息返回，代理服务器获得这些信息重新构建请求，将请求发送到互联网中网络主机，从而获得访问的HTML源代码，代理服务器获取源代码后将此信息发送到过滤系统，由过滤系统记录不合法请求并过滤中间敏感信息，过滤系统完成过滤后将结果返回代理服务器，代理服务器再压缩HTML源代码将最终的网页呈现在手机浏览器上。 　　2 过滤系统功能设计及实现 　　2.1 过滤系统工作流程设计 　　过滤系统工作流程图如图3所示。 　　 　　 　　图3 过滤系统工作流程图 　　过滤系统接收来自代理服务器的HTML源代码，并将处理后的结果返还给代理服务器。 　　2.2 过滤系统结构设计 　　过滤系统启动后，系统首先加载数据库的敏感词信息，并将敏感词存储到系统的二叉树数据结构中，当外部系统调用过滤接口时，系统会根据输入的HTML信息来过滤。具体的数据库表结构如图4所示。 　　 　　 　　图4 敏感词数据结构 　　敏感词级别：敏感词级别高的，则优先过滤。比如“中国共产党”的级别是5，“中国”的级别是3，