基于TF-IDF的贝叶斯模型的垃圾短信识别研究12000字 .pdf

基于TF-IDF的贝叶斯模型的垃圾短信识别研究

第1章绪论3

1.]研究背景及意义3

1.2国内外研究现状3

1.3研究思路4

第2章泣圾短信概述5

2.1垃圾短信的定义5

2.2垃圾短信的特征5

2.3垃圾短信带的危需5

第3章贝叶斯算法7

3.1贝叶斯公式的原理7

3.2贝叶斯算法的介绍8

321PG贝叶斯算法8

322GR贝叶斯算法8

3.2.3朴素贝叶斯算法9

3.3朴素贝叶斯算法优缺席11

3.3.1朴素贝叶斯算法的优席11

3.3.2贝叶斯分类方法的缺席12

第4章模型的设计与实现14

4」python模块介绍14

4.1.1开发环境介绍14

4.1.2相关模块介绍14

4.2数据获取16

4.3数据处理17

4.4提取特征构征模型18

441数据集划分18

442特征值提取19

443朴素贝叶斯的实现19

4.5垃圾短信过滤器的实现20

第5章结论与工作总结22

5.1模型评价22

5.3工作总结23

参考文献24

第1章绪论

1.1研究背景及意义

当前社会日新月异，人与人之间的沟通也有了许多方式。短信已经成为人们

生活中不可缺少的沟通方式，短信业务诞生三十年间，诞生了众多社交软件，它

们沟通更为方便沟通成本也更低，但短信的地位依然不可动摇。每天数十亿的短

信收发量的背后催存在量灰色垃圾短信，2013年时垃圾短信一度占据当时国内

收发短信的20%左右，这导致不少人上当受骗,工信部也不止一次治理垃圾短信,

但效果甚微，诸多不良垃圾讯息发送方在治理后死灰复燃，在这场景里垃圾短信

逐步由明面转换为地下，不过垃圾短信不仅没有被抑制甚至一度焕发第二春（方

瑶瑶，蔡俊杰，2022）。短信的优势在于点对点的发送，用户不可拦截是导致这一

现状的根本原因，如果不能遏制这种趋势，未垃圾短信泛滥的后果不堪设想。

针对国内垃圾短信的现状工信部与三大运营商曾多次联手整治，但是整治过

后发送的技术再次提升，垃圾短信犹如打不死的小强始终残存在群众之间，对于

很多商家说，疳信以较低的投入率获得较高的回报，也是垃圾疳信泛滥的原因

之一。目前，各式验证码，物流信息等正常短信与垃圾短信不宜判断，这极大的

影响了人们的正常通讯,研究出一款）隹确能够识别出垃圾短信的分类器已成为当

前社会的刚需，不仅能够保护人民的正常生活，还可以有效打击不法分子保护公

民财产安全（杜浩宇，田灵儿，2023）。同时垃圾短信也在占用着正常短信的资源,

为保证人民正常的短信收发，运营商不得不逐步提高服务器硬件质量，这不仅是

一种资源浪费更是迫不得已的结果。

1.2国内外研究现状

目前国际上许多国家都已采取了法律的手段规范短信业务，国际上看,

日本是最先认识到手机垃圾短信国家，也是最早采取行动的国家。日本垃圾短信

泛滥比中国更早，垃圾短信的类别也五花八门，在此情景内发生其中诈骗类的垃

圾短信占到了所有垃圾短信的20%,这使得日本从2004年开始就投入大量资金

和设备解决这一问题，除此日本政府也颁布了两条法律条文使得发送垃圾短信成

本提高（林梓浩，袁子琪,2021）,有效的遏制了日本垃圾短信泛滥的状态。德国垃

圾短信情况也不容乐观，德国在2004年就垃圾短信出台了相关法案，法案规定

商业短信的发送需要用户授权，未经授权将会收到严厉的法律制裁。法案还指出

禁止发送法西斯相关内容和黄色暴力内容（李博，王浩淼,2022）。德国政府还向群

众宣传相关法律法规，对于滥发短信者追溯到个人,处以约50万人民币的罚款，

对于发送不良短信者将处以更高的罚款（张伟明，陈静娴,2020）。美国作为科技强

国，针对垃圾短信曾花费数十亿美金研发新的反垃圾软件，这一举措一度使垃圾

短信拦截成为炙手可热的市场，同时美国政府也在1991年颁布电话消费者保护

法，维护正常的短信服务（刘建平，杨柳青,2021）。