基于情感分析的恶意发帖检测方法研究.docVIP

基于情感分析的恶意发帖检测方法研究 　　摘要：随着移动互联网时代的到来，针对各大网站产生的海量发帖信息，该文设计了一个恶意发帖检测系统，将海量的帖子进行分析整理，找到恶意发帖信息。本系统采用文本情感分析和数据挖掘技术，对互联网中的帖子信息进行分类整理，建立帖子库，接着对帖子进行文本情感分析，聚类恶意发帖信息，最后采用SVM算法对恶意发帖进行分类，识别出具体的恶意发帖并进行预警处理，具有较高的实际应用价值。 　　关键词：恶意发帖检测；文本情感分析；SVM；分类；聚类 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2014）07-1403-04 　　随着互联网（ Internet）的蓬勃发展，网络作为一种新的媒介形式，已被人们广泛使用。互联网的发展过程“是一个时时处处有人参与的、不断演化的、自适应的、不断涌现出新的整体特性的过程，是一个开放的、人在其中与社会系统紧密耦合的复杂巨系统[1]”，其业务流量自相似、拓扑结构无尺度等特性的发现为人们正确认识和管理互联网起到了重要作用。 　　网络论坛是网络舆论形成的一股重要力量，广大网民通过网络来表达观点，一旦遇到社会热点问题，瞬间就能形成巨大网络的舆论。网民通过“发帖”发表意见、参与舆论形成，与论坛网站共同构成了人机结合的虚拟系统[2]。以网络水军为主体的恶意发帖能主导舆论走势，产生错误的舆论导向以及消极的影响，所以对恶意发帖的检测就显得尤为重要。 　　本文通过对大量论坛发帖信息进行收集分析，形成帖子库，并对帖子内容进行文本情感分析，产生恶意发帖聚类，接着使用支持向量机（SVM）对恶意帖子进行分类，实时产生预警信息，并对发帖源头进行干预。 　　1 理论背景 　　基于情感分析的恶意发帖检测系统的分析与研究中，涉及到的理论主要有三个方面，分别是数据挖掘技术，文本情感分析和支持向量机。 　　1.1 数据挖掘技术 　　数据挖掘（Data Mining，DM）又称数据库中的知识发现（Knowledge Discover in Database，KDD），是目前人工智能和机器学习领域的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的过程[3]。 　　数据挖掘的分类、聚类、关联规则、预测算法能很好的应用到恶意发帖的分析检测与追踪之中。主要处理如下： 　　1） 可以对帖子库中的恶意帖子根据恶意的等级不同进行分类处理； 　　2） 可以对恶意帖子进行聚类分析，找出它们的团伙关系； 　　3） 利用关联规则，找出发帖人与不同帖子之间的关联关系； 　　4） 利用预测技术预测出哪些发帖人有恶意发帖的趋势； 　　5） 利用帖子间的文本的近似的比对，找出某个人多次改变手法发帖。 　　1.2 文本情感分类 　　文本情感分类是指通过挖掘和分析文本中的立场、观点、看法、好恶等主观信息，对文本的情感倾向做出类别判断[4]。文本情感分析使用文本极性分析将帖子分为正面或负面，论坛发帖文本情感分析具体工作流程如图1所示。 　　1） 观点摘要。从一个或若干包含主观性信息的文本文档中概述出其中主观性信息的主要内容。基于观点的摘要分为两种，一种是单文档摘要，另一种是多文档摘要。 　　2） 文本极性分类。针对给定的文本，使用情感分类方法，识别其中主观性信息的倾向是正面还是负面的。Naive Bayes、最大熵分类（Maximum Entropy Classification）和支持向量机是常用的情感分类方法。 　　3） 主观和客观识别或分类。识别文本是对事实的描述（客观的文本）还是包含有意见、评价等主观性信息（主观性文本）。 　　1.3 支持向量机 　　支持向量机（SVM）是由Vapnik在1963年解决模式识别问题时提出了支持向量方法，这种方法从训练集中选择一组特征子集，使得对特征子集的划分等价于对整个数据集的划分[5]。 　　SVM从线性可分情况下的最优分类面发展而来，广泛应用于数据分类、手写识别等领域。SVM考虑寻找一个满足分类要求的超平面，并且使训练集中的点距离分类面尽可能的远，也就是寻找一个分类面使它两侧的空白区域（Margin）最大。 　　3 系统功能分析 　　整个系统的设计与实现，包括网络发帖采集系统，网络发帖倾向性分析，恶意发帖分析检测引擎和恶意发帖分析监测与监控追踪系统，下面就四个系统的功能进行分析。 　　3.1网络发帖采集系统 　　网络发帖采集系统主要功能是完成网络发帖数据的实时采集整理，其中负责采集数据的是网络爬虫，其运行具体步骤如下： 　　1） 用户通过配置管理界面配置爬虫的数据源、页面解析逻辑、数据存取逻辑和高级设置，配置数据将保存在爬虫配置数据库中； 　　2） 用户在数据抓取监控