互联网违法信息挖掘分析系统的设计与实现-计算机技术专业论文.docxVIP

- - i - 目 录 第一章 绪论1 1.1 研究背景和意义 1 1.2 互联网有害信息的类型与等级划分 1 1.3 互联网违法信息的特点与危害性 2 1.3.1 具备对公众社会群体的危害性特点2 1.3.2 具备违法信息的传播隐蔽性特点2 1.3.3 具备违法信息传播的广泛与迅速性特点2 1.4 互联网违法信息成因及相关管控的措施 3 1.5 国外对互联网违法信息的管理措施 5 1.6 本章小结 6 第二章 互联网违法信息挖掘分析系统的需求分析 7 2.1 互联网违法信息的现状分析 7 2.2 互联网违法信息挖掘分析系统需求分析 8 2.3 互联网违法信息挖掘分析系统设计分析 13 2.3.1 数据库设计13 2.3.2 中文分词14 2.3.3 并行多线程效率测算15 2.4 本章小结 18 第三章 互联网违法信息挖掘分析系统的设计与实现 19 3.1 系统总体功能框架设计 19 3.2 数据库结构设计 25 3.3 中文分词设计与实现 30 3.4 多线程并行处理 35 3.5 系统所使用相关的类 37 3.6 抓取分析引擎的实现 38 3.7 本章小结 54 第四章 测试与分析55 - - ii - 4.1 测试所需的软硬件环境 55 4.2 测试方式及结果 55 4.2.1 测试交互式网站挖掘信息内容56 4.3 测试多核并行与单线程工作效率 57 4.4 本章小结 59 第五章 结论60 参考文献61 发表论文和科研情况说明63 致 谢64 第一章 第一章 绪论 - - PAGE 10 - 第一章 绪论 1.1 研究背景和意义 互联网信息作为一种资源，它的普遍性、共享性、增值性、可处理性和多效 用性，使其对于人类具有特别重要的意义。 但互联网上的违法信息很多[1]，大致包括淫秽、色情、暴力等低俗信息；赌 博、犯罪等技能教唆信息；毒品、违禁药品、刀具枪械、监听器、假证件、发票 等管制品买卖信息；虚假股票、信用卡、彩票等诈骗信息，以及网络销赃等多方 面内容，对社会主义构建和谐社会造成了不良影响，抵御互联网的反动、淫秽或 色情等有害信息的思想文化渗透成了一个迫切需要解决的问题。 1.2 互联网有害信息的类型与等级划分 互联网违法信息主要分为三个等级[2]： 第一等级：是指危害国家公共安全的国家法律明令禁止的信息；其中主要包 括如下： （1）反对宪法所确定的基本原则的危害国家安全，泄露国家秘密，颠覆国 家政权，破坏国家统一的； （2）损害国家荣誉和利益煽动民族仇恨、民族歧视，破坏民族团结的； （3）破坏国家宗教政策，宣扬邪教和封建迷信散布谣言，扰乱社会秩序， 破坏社会稳定的； （4）含有法律、行政法规禁止的其它内容的。 第二等级：是指散布淫秽、色情[3]的其中主要包括如下： （1）淫亵性地具体描写性行为、性交及其心理感受； （2）宣扬色情淫荡形象，淫亵性地描述或者传授性技巧； （3）具体描写乱伦、强奸及其它性犯罪的手段、过程或者细节，可能诱发 犯罪的； （4）淫亵性地具体描写同性恋的性行为或者其它性变态行为，以及具体描 写与性变态有关的暴力、虐待、侮辱行为； 第三等级：低俗信息是指在整体上宣扬淫秽行为，表现或隐晦表现性行为、 令人产生性联想的其中主要包括： （1）对人体性部位的直接暴露和描写，对性行为、性过程、性方式的描述 或者带有性暗示、性挑逗的语言； （2）对性部位描述、暴露，或者只用很小遮盖物的内容，全身或者隐私部 位未着衣物，仅用肢体掩盖隐私部位的内容； （3）带有侵犯个人隐私性质的走光、偷拍、漏点等内容，以挑逗性标题吸 引点击的； （4）相关部门禁止传播的色情、低俗小说，音视频内容，包括一些电影的 删节片断，一夜情、换妻、SM 等不正当交友信息； （5）非法的性用品广告和性病治疗广告； （6）未经他人允许或利用“人肉搜索”恶意传播他人隐私信息。宣扬血腥 暴力、恶意谩骂、侮辱他人等内容，侮辱或者诽谤他人，侵害他人合法权益的。 1.3 互联网违法信息的特点与危害性 互联网违法信息根据信息内容的不同且具备有如下特点： 1.3.1 具备对公众社会群体的危害性特点 互联网违法信息具备危害性的特点[4]是指通过违法信息的传播，可以对公众 的合法权益、群众乃至国家利益造成侵害的，破坏了社会主义和谐与稳定的，例 如，一些淫秽色情网站不仅会给提供感官上的诱惑与刺激，而且极易对青少年引 起教唆犯罪、引诱其参加淫秽色情活动。典型的案例，如李双江之子，李天一开 宝马打人，强奸女教师等[5]。 1.3.2 具备违法信息的传播隐蔽性特点 因互联网的特性，所有网民都采用虚拟身份的形式进行网络活动，所以造成 了所面临的虚拟身份非唯一性，信息传输的非实名制从而增加了网络监管部门监 控打击有害信息的难度，