基于贝叶斯分类器中文垃圾短信辨识.docVIP

基于贝叶斯分类器中文垃圾短信辨识 　　摘 要：垃圾短信制造者出于商业目的或其他诈骗目的向手机用户大量发送垃圾短信或诈骗短信，使得手机用户不胜其扰。运营商在发送短信之前对短信加以辨识后，给可能是垃圾短信的信息贴上标签后再发送，将会大大降低手机用户受骗的机率。该文采用IF-IDF算法和离散特征的贝叶斯分类器，进行特征词选取，构建垃圾短信?b别模型。通过垃圾短信训练数据集构建的中文垃圾短信贝叶斯分类模型，能够使垃圾短信的识别率保持在94%以上，具有较高的实用性 关键词：贝叶斯分类器 中文垃圾短信 特征提取 特征选择 文本挖掘 中图分类号：TP393 文献标识码：A 文章编号：1672-3791（2017）02（b）-0010-04 1 文本预处理 由于短信文本是由非结构化的中文文字组成，因此在采用传统的贝叶斯分类器进行垃圾短信的识别之前，需要对垃圾短信进行文本预处理 中文文本预处理的处理流程如图1所示 1.1 文本特征提取 文本挖掘的关键就是将文字型非结构化数据转化为数值型结构化数据，为后续的贝叶斯分类器做准备。中文文本挖掘不同于英文文本单词与单词之间用空格分隔的情况，因此中文文本首先要进行分词处理（例如原文本：此类皮肤特别容易招惹粉刺、黑头等。分词处理后的文本：此类；皮肤；特别；容易；招惹；粉刺；、；黑头；等。分词处理之后，须对每份文本进行特征提取。即保留具有实际意义的词，去掉没有实际意义的虚词以及标点等停用词（Stop words）（例如上述文本特征提取后为：皮肤；招惹；粉刺；黑头）。对于分词处理和特征提取可采用经典的极速词典分词[1]：和TextRank关键词[2]提取，具体细节这里不再详细描述，而分词和特征提取可直接采用中科院开发的开源Java工具包：HanLP[3]。内部包含多种分词以及关键词提取算法，功能十分强大。如果训练集是在文件中，可以编写Java代码，通过 BufferedReader将文本一行一行读进Java环境中，然后调用HanLP里面的分词算法，最后将输出的结果保存在新的文件当中。如果训练集是在数据库中，则可通过JDBC导入，后续步骤同上 1.2 文本的特征选择 虽然单独文本的词语数量通过特征提取降低了，但是对于整体的训练集来说其词语数量还是很庞大的。不适合后续的模型构建，所以在特征提取的基础上需要再进行特征选择，从而降低整体的词语数量。经过特征选择后的词语可以形成一个关键词集，得到的关键词集是为后续模型的构建做准备的。由于该文所做的是垃圾短信辨识，只需分辨垃圾短信和非垃圾短信两类数据即可，并且现实生活中垃圾短信占少数，多数为正常短信。所以我们把重心放在预处理垃圾短信上，目标是取得垃圾短信关键词集 在预处理部分，采用HanLP进行分词以及特征提取，特征选择技术则采用信息检索领域非常著名的TF-IDF算法[4] TF-IDF算法的主要思想是评估一字词对于一个文件集或一个语料库中某一份文件的重要程度，如果某个词或短语在一份文件中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类 一个词的权重为weigt（tj）=TF*IDF，某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重，高权重的词表明这个词可以很好地把这个文件识别出来 在通过TF-IDF计算后，每一个特征词都有一个权重（weight），将所有特征词的权重进行排序（可以通过Java中的treeset数据结构[5]进行按值排序），然后设置一个阈值将权重低的特征词舍弃，保留权重高的特征词，从而形成关键词集。关键词的个数对于垃圾短信分类器的好坏有着至关重要的影响 2 贝叶斯分类器构建 通过特征选择构建关键词集后，就可以实现中文垃圾短信的分类分析 2.1 建立关键词概率 因为贝叶斯模型是基于概率计算来进行建模的。因此，要为每一个关键词建立分类概率[6]。该文采用如下公式（3）计算概率F： （3） 式中b表示关键词在垃圾短信中出现的次数，g表示关键词在正常短信中出现的次数。nbad表示垃圾短信的数量，ngood表示正常短信的数量。2为一个经验系数。垃圾短信评估分类器好坏有两个重要指标：（1）虚警率：把非垃圾短信当成垃圾短信的概率 ，对应于统计学上的第一类错误。（2）误判率：把垃圾短信当成非垃圾短信的概率，对应于统计学上的第二类错误 在实际生活中这两种错误的代价是不同的，很明显把正常短信判断为垃圾短信的代价远高于把垃圾短信判断为正常短信的代价。因此，分母g/ngood那一项乘以系数2是用来降低虚警率的。在实际辨识过程中可以不断调整系数以达到最佳效果 2.2 文本转为特征向量（String