基于半监督学习的网络敏感信息识别计算机科学与技术专业论文.docxVIP

目 录 第一章 绪论1 1.1 研究背景1 1.2 本文主要工作1 1.3 论文结构2 第二章 相关研究现状4 2.1 网络敏感信息识别4 2.2 文本分类5 2.3 利用未标注样本的学习9 2.4 半监督学习11 2.4.1 半监督学习的基本假设11 2.4.2 半监督学习常用方法12 2.5 不平衡数据分类13 第三章 任务特点与技术路线 16 3.1 任务特点16 3.1.1 敏感信息的特点16 3.1.2 敏感信息识别问题的特点17 3.2 技术路线17 第四章 网络敏感信息分析方法 19 4.1 两次分类19 4.1.1 第一次分类19 4.1.2 第二次分类22 4.2 半监督分类方法选择22 4.3 不平衡数据分类及其算法改进25 SMOTE 算法 25 SMOTE 算法改进 26 4.4 半监督的不平衡数据分类33 第五章 实验设计与分析 36 5.1 实验设计36 5.1.1 第一次分类36 5.1.2 第二次分类38 5.2 实验结果与分析40 5.2.1 评估方法及指标40 5.2.2 实验结果及分析41 第六章 总结与展望45 参考文献46 发表论文和参加科研情况说明 50 致 谢51 第一章 第一章 绪论 PAGE PAGE 10 第一章 绪论 1.1 研究背景 随着互联网的日益普及，网络越来越成为人们获取与发布信息的主要渠道， 网络舆情信息的导向作用越来越大，互联网对信息的传播，特别事在一些重大新 闻事件和突发性的报道中，表现出传统媒体无法与其相比的优势：快捷、信息的 多源、互动。让受众可以参与对事件的评论，发表自己的意见，引导和影响社会 舆情的发展。然而网络信息庞杂多样，虽然对社会的发展起了积极作用，但同时 也产生了随之而来问题。 由于网络本身的特性，且许多国家网络尚未采用实名制，这就造成了许多不 法分子趁机利用网络这一特殊的传播媒体自由交互的特点，在网络上传播各种不 利于社会稳定的言论。根据现行法律法规，危害国家及社会安全的信息就简称“敏 感信息”，主要表现为反对宪法确定的基本原则，危害国家统一、主权和领土完 整，泄露国家秘密、危害国家安全或者损害国家荣誉和利益，煽动民族仇恨、民 族歧视，破坏民族团结，或者侵害民族风俗、习惯，宣扬邪教、迷信，散布谣言， 扰乱社会秩序，破坏社会稳定，宣扬赌博、暴力或者教唆犯罪，煽动非法集会、 结社、游行、示威、聚众扰乱社会秩序，含有法律、行政法规和国家规定禁止的 其他内容等。 敏感话题并不一定是热点话题，其涉及的范围非常广泛，涵盖了思想政治问 题、经济问题、社会问题、文化问题等许多方面，大多敏感话题一经出现就会给 网民带来不好的影响，有些敏感话题甚至会引起网民的关注，造成广泛传播，进 而产生巨大的舆论压力。为了使这种消极因素在第一时间就能得到控制，及时发 现敏感话题是先决条件。 1.2 本文主要工作 本文分析了网络敏感信息的特点，采用文本分类的方法进行网络敏感信息的 识别，首先，不同主题的敏感信息表现形式大相径庭，如果将所有主题的网络舆 情信息混在一起进行敏感信息的识别势必会影响识别准确率；另外，由于标注样 本不足，采用传统的监督学习算法很难得到良好的效果，应当采用半监督学习的 方法进行网络敏感信息识别；然后，由于网络敏感信息在网络舆情中只占很少部 分，而传统的分类方法对于少数类的识别率很低，应当采取合理的方法处理数据 不平衡的问题。 本文针对网络敏感信息的特点，采用半监督学习的方法对网络敏感信息进行 识别，同时应用过采样的方案处理不平衡数据分类的问题，并对传统的过采样方 法做出改进，使新生成的样本能提供更多信息，从而帮助分类。具体研究内容如 下： （1）查阅相关资料，对网络敏感信息进行分析，得到了网络敏感信息的主 要特点。 （2）根据网络敏感信息的特点，对网络敏感信息识别问题的特点进行了分 析，并提出了相应的解决方案。 （3）对网络敏感信息识别采用两次分类的方法，第一次分类采用监督学习 的方法，对训练数据进行主题分类，第二次分类进行敏感信息识别。 （4）实现了监督学习下的分本分类算法，搜集了相关的训练数据，观察在 标注样本不足的情况下分类算法的表现。 （5）实现了几种经典的半监督学习下的文本分类算法，观察在少量标注样 本和大量无标注样本的情况下，分类算法的表现。同时观察数据偏斜情况下，传 统分类算法的表现。 （6）实现了 SMOTE 算法，并将 SMOTE 算法与半监督分类方法结合，观察 采用过采样方法进行数据平衡之后的分类效果。 （7）分析现有的 SMOTE 算法在处理边界样本和噪声样本时