网络文本信息过滤关键技术研究.docVIP

网络文本信息过滤关键技术研究 　　【摘 要】随着网络快速发展，催生大数据时代的到来。网络信息的泛滥，带来了很多“信息垃圾”，严重影响青少年网民的人生观、世界观和价值观。本文讨论了网络文本信息过滤的基本流程、过滤关键技术和方法，以及过滤效果评估标准和常用的中文语料库。 　　【关键词】信息过滤；文本表示模型；分词；特征选择；文本分类 　　1.前言 　　根据中国互联网络信息中心（CNNIC）第34次中国互联网络发展状况统计[1]，截至2014年6月底， 我国网民规模达6.32亿，半年共计新增网民1442万人。互联网普及率为46.9% ，较2013年底提升了1.1个百分点。 　　根据CNNIC的统计报告，在我国众多的互联网用户中，学生群体是网民中规模最大的职业群体，占比为25.1%，并且中学生人数占据较大比例。网络以其用户数量庞大，方便快捷等特点，成为了人们信息获取的主要途径。伴随着大数据时代的到来，网络向人们的传统生活方式和学习方式发起挑战。低成本快捷的网络信息为我们提供了极大的方便，同时也带来了很多“信息垃圾”，比如：色情、暴力、违法诈骗、赌博等。这些不良信息正在侵蚀社会的道德，挑战现有的法律。严重影响了人民群众的日常生活，特别是青少年网民的人生观、世界观和价值观。将这些不良信息过滤掉，还大家一个健康的网络空间。 　　2.网页文本信息过滤过程 　　1982年，信息过滤[2]（Information Filtering）由Denning于1982年提出。网络信息过滤，主要是指根据用户的信息需求，利用一定的工具从大规模的动态信息流中自动筛选出满足用户需求的信息，同时屏蔽掉无用的信息的过程。网络文本信息过滤流程如图1所示： 　　图1 网络文本信息过滤基本流程 　　3.信息过滤关键技术分析 　　3.1数据包捕获 　　常用的数据包捕获技术有Winsock2 SPI技术和Winpcap技术，在Windows 操作平台上来实现对底层包的截取过滤。用户在使用Winsock2 SPI技术进行数据封包截获时，需将自己编写好的SPI程序安装到系统上。截获了网络封包之后，需要对网络封包进行协解析，然后回调系统函数，由系统函数完成网络传输功能。而WinPcap[3]是Win32 上的第一个用来捕获数据包的开放系统软件包，它能获取网卡列表信息、捕获原始的数据包、设置filter，只捕获自己感兴趣的数据包，还可以统计网络流量。 　　3.2文本表示模型研究 　　目前常用的文本表示模型[4]有布尔逻辑模型、向量空间模型、概率模型、潜在语义索引模型等。 　　3.2.1布尔逻辑模型 　　布尔逻辑模型也称为完全匹配模型，是一种相对简单的信息过滤模型。在过滤时，它以文档中是否包含关键词来作为取舍的标准。利用布尔逻辑模型进行信息过滤，就是给定一系列的具有二值逻辑的特征变量。这些变量是从文档中抽取出来的，用来描述文档的特征。通过布尔操作符把表示文档信息的特征变量构成布尔表达式，此即为一查询。当在一个查询中，两个查询关键词之间用布尔操作符AND（与）相关联，则表示对于这两个关键词，应该都包含在非友善文档中。如果两个查询关键词之间用布尔操作符OR（或）相关联，则表示对于这两个关键词，其中有一个包含在查询文档中即可。 　　基于布尔逻辑模型的信息过滤技术特点是实现容易、用户操作方便、易接受，而且查全率比较好。但布尔模型的结果非真即假，限制性过强，会导致漏判。Gerard Salton给出了扩展的布尔模型信息过滤系统，增加了关键词相对于查询或文档的重要程度。 　　3.2.2 向量空间模型 　　向量空间模型（VSM）是由Salton提出的关于文本表示的模型，使用由词语构成的向量表示文档信息与过滤信息，并在Cornell研究出基于向量空间的SMART实验系统。该模型已被人们普遍认为是一种非常有效的信息过滤模型，它以特征项作为文本表示的基本单位，特征项可以由字、词或短语组成。所有的特征项构成特征项集。一篇文献可以表示为一个向量，即可被定义成一系列子项的组合，该向量的维数是特征项集的个数，并且根据统计结果，该向量的每个分量都被赋予一个权值以表明它对于这篇文献的重要性。 　　向量空间模型具有自然语言界面，易于使用。该文本表示模型的缺点是：假设所有检索词在向量空间中是正交的，即检索词是相互独立的，但现实情况往往并不是这样。 　　3.2.3潜在语义索引模型 　　潜在语义索引模型（LSI）已被广泛地应用到信息过滤领域中，它是利用字项与文档对象之间的内在关系形成信息的语义结构。这种语义结构反映了数据间最主要的联系模式，忽略了个体文档对词的不同的使用风格。主要挖掘文档的潜在的语义内容，而不仅仅是使用关键字的匹配，是对字项文档矩阵使用奇异值分解（SVD）方法