网页信息过滤系的研究与设计.pdf

网页信息过滤系统的研究与设计 中文摘要 网页信息过滤系统的研究与设计 中文摘要 互联网不断地深入到人们生活的方方面面，如何对互联网上的非法网页进行过 滤，给用户营造一个良好的学习和工作环境，成为一个重要的研究领域。由于当前 的网页过滤系统对网页过滤的查全率、查准率、速度三个方面的存在诸多不足，为 此，本文构建了一个动态的训练语料库、一个非法关键词集合和一个良好的网页向 量表示方法，并在此基础上设计了一个多层次、多策略的网页过滤系统。 分类算法的分类性能与训练语料库相关，高质量的训练语料库会提高分类器的 性能。本文在基于密度的KNN分类器的样本裁剪算法的基础上，提出基于密度的 KNN分类器的样本添加算法。并通过对训练语料库进行基于密度的KNN分类器的 样本裁剪、添加算法，获得了一个动态的、密度均匀、且覆盖度较大的训练语料库。 一个好的非法关键词集合应能实时的反映当前互联网上非法网页的特征，本文 RAl算法相结合提出一种新的非法 将基于贪心算法的非法关键词抽取算法与OCAT 关键词集合抽取算法，该算法能自动获取一个合适大小的非法关键词集合，且采用 该集合使用关键词过滤算法对文本进行过滤，取得了较好的过滤效果。 为了对网页过滤获得更好的过滤效果，本文将网页结构和网页内容信息结合起 来，构成了一个维数较小的网页表示向量，利用新的网页向量对网页采用KNN进 行二值过滤，在进一步提高对网页过滤效果的同时，减少了训练网页的个数。 最后，根据URL过滤、关键词过滤、l心烈过滤的不同特点，构建了一个多层 次、多策略的网页过滤系统。实验证明，该系统对网页过滤具有较高查全率、查准 率的同时，满足了实时性的要求。 关键词：语料库，OCATRAl，文本过滤，网页过滤 作 者：刘辉 指导老师：钱培德 Researchand ofWebInformation Abstract Design FilteringSystem Researchand ofWebInformation Design FilteringSystem Abstract the WiththeIntemet into of tofilter lives，how constantlyeveryaspectpeople’s web for a environmentfor is all illegalpagecreatinggood peoplebecomingimportant field．Becauseofthe ofthecurrentweb filteringsystem，thispaper disadvantage page a setof wordsanda to vector constructs way dynamicco