基于C4.5算法的BBS反垃圾内容分析.docVIP

基于C4.5算法的BBS反垃圾内容分析 //.paper.edu 摘 要：随着互联网的高速发展，不同形式的网站也大量涌现。同时，在经济利益的驱使下， 垃圾网页也日益增多，如何提高用户检索信息的质量就显得尤为重要。文通过对 BBS 论坛 结构分析，针对论坛总结出一种基于 C4.5 算法的回帖判别方法，使其不仅可以用于判断回 帖内容是否贡献于主贴，还可以排除回帖垃圾(Spam)内容。这样可以提高用户检索体验，减 少无用信息的干扰。 关键词：BBS网页结构，C4.5算法，垃圾网页，Spam内容。 1．引言 随着互联网的高速发展，网页数量呈几何级数增长，各种网站也如雨后春笋般涌现出来， 同时也出现了很多具有专业知识的论坛，无论是中文社区还是英文社区，传统形式的网站已 经不再是人们获取网络知识的唯一渠道，很多已经转移到这些专业知识的论坛。比较有代表 性讨论编程相关的CSDN，笔记本相关知识的Thinkpadcn ，讨论PDA和手机相关知识的 Xpda[1]，大型综合性社区baidu知道[2]，sina爱问[3] 等等。同样对于用户来说，是获取知识的 很好途径，通过流量访问统计，这些论坛或者大型社区的日在线人数在万人左右。所以如何 利用好这些社区，如何获得相关的知识，就显得尤为重要，同时可以看出Google由于自身算 法的原因，在返回这些论坛内容结果时，并不尽如人意。所以开发相应的论