一个基于分层的网页文本过滤系统.pdfVIP

总第250期 计算机与数字工程 V01．38No．8 2010年第8期 ComputerDigitalEngineering 18 一个基于分层的网页文本过滤系统。 周聚”’2’ 李培峰”’2’ 朱巧明2’ (苏州大学计算机科学与技术学院” 苏州 215006) (苏州大学江苏省计算机信息处理技术重点实验室2’苏州 215006) 摘要设计并实现了一种高效率、高性能的网页文本过滤系统，该系统采用分层过滤策略，包括实时过滤和事后分 析。实时过滤模块是基于Linux下的IPQueue机制实现的，采用高效的过滤策略，在保证过滤实时性的同时也保证了过滤 的准确性；事后分析模块研究过滤系统经过协议还原后备份的网页文本，通过网页预处理、非法关键词抽取、特征选择等步 骤，实现了基于二元模型的文本过滤方法，该方法在一定大小的词语距离窗口内，采用包含非法关键词的二元词串作为特 征，解决了使用二元词串带来数据稀疏的问题，同时保留了二元词串的强类别分辨能力的特征。实验表明，文章实现的过滤 系统有较高的效率和准确率，用于事后分析的基于二元模型的文本过滤方法达到了较高的性能，其准确率、召唤率和F-的 值分别为：96．98％，85．75％和91．02％。 关键词分层过滤；文本过滤；二元词串；抽取窗口 中图分类号TP393 AHierarchicaltoFilterWeb Approach Pages ZhouJul’’2’Li Oiaomingz’ Peifen91’’2’Zhu (Schoolof Scienceand 215006) Computer Technology，SoochowUniversitya’，Suzhou Labof Information of Province，Soochow 215006) (Key Computer ProcessingTechnologyJiangsu Universityz’，Suzhou AbstractThis and an webtext thatuseshierarchi— paperdesignimplementefficient，high-performancefilteringsystem IP cal real-timefilterandanofMine moduleisbasedon Queuein filteringstrategy，including analysis．Real-timefiltering Linux．Withefficient moduleensuresthereal—timeandthe Theoffline modulestud— filteringstrategy，the accuracB analysis after Web iesWebtextwhichissavedondatabase revert，then dean，illegalkeywords protocol through SO anew anew anew a