基于层次特征的变体短文本过滤算法.docVIP

  基于层次特征的变体短文本过滤算法 5 10 15 20 25 30 35 40 摘要：为了规避常规过滤方法，微博、短信等中的有害短文本经常以不规整不正常的变体形 式(即变体特征)出现。目前还对该问题还缺少有效解决方法。通过分析发现虽然变体特征千 变万化，但实质上都是围绕核心关键词而演变出来的。本文根据变体特征提出了基于层次特 征的变体短文本过滤算法。该算法首先找到底层的变体字特征；进而推导出高层的变体词特 征；最后通过贝叶斯公式计算短文本有害的测度。实验结果表明，该方法在减少人工参与、 提高处理效率和精度上都有较好的效果。 关键词：关键词的层次特征；短文本过滤；变体短文本；中文文本 中图分类号：TP391 A Variant Short Text Filtering Algorithm Based On the Level Features WEN Yuanxu, XU Weiran (Pattern Recognition and Intelligence System Laboratory, Beijing University of Posts and Telecommunications, Beijing 100876) Abstract: Many harmful short texts in Microblogs and SMSs are irregular and in unusual variant forms to circumvent conventional filtering methods. There is a lack of efficient solutions to this problem. We found that these texts still contain the keywords’ essential information with the letters’ variant appearances. This article suggests a variant short text filtering algorithm based on Level Features. According to the algorithm, finding keywords in different characteristics——level characteristics, improved Bayesian classifier to filter harmful short texts. Weighting level features eventually through short text contains keywords then getting the total weights of a text and filtering. The experimental results shows that the algorithm could reduce human involvement, improve processing efficiency and precision. Key words: Level Features of Keywords; Short Text Filtering; Harmful Short Texts; Chinese Texts 0 引言 随着互联网和无线通信的不断发展，以微博为代表的互联网应用以及以手机短信为代表 的手机应用已经广泛地融入人们的生活。据《中国互联网络发展状况统计报告（2012年7月 版）》最新公布数据，截至2012 年6 月底，中国网民规模达到5.13 亿，全年新增网民5580 万；互联网普及率较上年底提升4个百分点，达到38.3%。中国手机网民规模达到3.56 亿， 同比增长17.5%。我国手机用户已经在2012年3月达到9.997亿。与此同时，新浪微博的用户 量在2012年初便超过三亿，每日有超过一亿条微博在互联网发布。 在微博、短信中每天有数以亿计的短文本发出，这其中，有很多是有害的短文本。诸如 垃圾、非法广告、诈骗、发票假证等有害短文本会被普通用户接收到，影响人们的正常生活， 甚至会给部分用户带来财产损失和安全隐患。 然而实际中，有害短文本为了规避常规方法的过滤，出现形式是不规整、不正常的，会 有各种变体特征令传统方法无法正确识别和过滤。因此，研究变体短文本的智能识别算法具 -1- 有重要的意义。本文就是针对这类变体短文本提出了一种全新的算法。   45 50  1 问题分析及当前方法存在的缺陷 过滤技术是目前对付有害短文本的主要手段，但采用现有的过滤方法时，现有的不管是 基于关键词