基于特征加权的网络不良内容识别方法.docVIP

基于特征加权的网络不良内容识别方法 摘 要： 网络上不良信息的出现是困扰社会精神健康发展的“顽疾”，如果不进行有效的过滤，会给搜索服务带来不良影响，极大的影响了社会的和谐稳定发展。提出一种基于特征加权的网络不良内容识别方法，在对网页上的文本预处理后，引入针对不良内容的加权方法，然后再结合KNN、朴素贝叶斯、SVM三种文本分类方法进行实验对比。对比实验结果表明，所采用的方法在识别网络不良内容上的准确率和召回率都有较大提高。 关键词： 互联网； 不良内容； 特征加权； 内容识别 中图分类号： TN711?34 文献标识码： A 文章编号： 1004?373X（2016）03?0076?04 Feature weighting based identification method for network undesirable content YU Haoliang1， WANG Qiusen1， FENG Xupeng2， LIU Lijun1， FU Tiewei3， HUANG Qingsong1， 3 （1. College of Information Engineering and Automation， Kunming University of Science and Technology， Kunming 650500， China； 2. Center of Educational Technology and Network， Kunming University of Science and Technology， Kunming 650500， China； 3. Yunnan Key Laboratory of Computer Technology and Applications， Kunming 650500， China） Abstract： The emergence of network undesirable information is the “chronic illness” which persecutes the healthy development of mental social， if the information isn′t filtered effectively， it will bring undesirably affect on the search service， and influences the harmony and stability development of the society. An identification method for network undesirable content based on feature weighting is proposed. The weighting method for the undesirable content is introduced after text pretreatment on web page， and then the proposed method and three test categorization methods of KNN， Naive Bayes and SVM are compared with the experiments. The contrast experimental results show that the adopted method has great improvement on precision and recall of identifying the network undesirable content. Keywords： Internet； undesirable content； feature weighting； content identification 0 引 言 互联网的迅速发展，使得网络上发布黄色、暴力、赌博甚至反动言论等不良信息时有发生，这类不良网页信息随着现代互联网的蓬勃发展呈现着蔓延之势，引起社会各界的极大关注。不良信息的监控问题成为国家迫切关注的敏感问题，更是一个影响和谐稳定发展的社会问题。网络上不良信息的传播如果不加以严格监控，除了对个人造成不良影响外，更会给社会带来巨大不安定的因素。因此如何强化网页不良内容的识别能力，提高舆情监测的质量和效率，成为一个技术工作者需要解决的重要问题。 近年来网络不良内容的识别问题引起了广泛关注和研究[1?3]，针对不良文本识别的问题，文献[4]提出了文本倾向性的不良文本识别方法。对不良主题的相关文本利用倾向性分析方法对文本进行分类。文献[5]提出了