垃圾弹幕屏蔽方法研究——以bilibili为例.pdfVIP

摘 要 伴随着被外界夸疯、被评价为 “最懂年轻人的晚会”20 19 年哔哩哔哩（简 称，bilibili ）跨年演唱会 《最美的夜》的播出，弹幕视频网站受到了越来越多人 的追捧，但随着弹幕数量的增多，如何屏蔽垃圾弹幕成为一个亟需解决的问题。 为解决该问题，本文从 bilibili 弹幕网爬取了部分热门视频的弹幕，构建了垃 圾弹幕语料库，随后提出了两种垃圾弹幕屏蔽方法。 （1）在各类视频网站提出的关键词屏蔽法的基础上，本文提出了分别基于 种子词和数据集的两类屏蔽词典自动构建方法。第一类方法主要采用 Google 的 自然语言处理工具Word2Vec 和 PMI （Point Mutual Information ），寻找与种子词 相似性较大或共现次数较多的词添加到屏蔽词典中去；第二类方法主要采用 TF-IDF （Term Frequency Inverse Document Frequency ）、LDA （Latent Dirichlet Allocation ）主题模型和信息增益（Information Gain ，IG ）的方法，从垃圾弹幕 数据集中提取关键词来构建屏蔽词典。最后，对所构建的屏蔽词典进行评测，实 验结果表明：词典规模在 400~500 时，弹幕屏蔽效果最好。 （2 ）由于基于屏蔽词典的垃圾弹幕屏蔽方法无法有效地识别隐式垃圾弹幕， 本文提出了一种基于上下文的隐式垃圾弹幕屏蔽模型。该模型由目标弹幕子网络 和上下文弹幕子网络等两个局部子网络构成，前一个子网络使用双向长短时记忆 网络（bi-directional long short term memory ，Bi-LSTM ）来抽取目标弹幕特征， 后一个子网络使用卷积神经网络（Convolutional Neural Network ，CNN ）来抽取 上下文关键词特征，两个子网络使用动态的 ELMO 词向量模型来初始化文本向 量表示；从图像领域引入动态损失函数来缓解数据不平衡带来的影响。实验结果 表明：在引入上下文的关键词特征后，本文提出的屏蔽模型能有效地识别隐式垃 圾弹幕，在 G-mean 和 ROC 曲线下面积 （area under the curve of ROC ，AUC ）指 标上分别达到了 71.0%和 72.9% 。 关键字：垃圾弹幕；关键词屏蔽；深度学习；上下文弹幕 1 目 录 第 1 章 绪论1 1.1 研究背景与意义1 1.1.1 研究背景1 1.1.2 实践意义和学术价值2 1.2 国内外研究现状3 1.2.1 弹幕分析的研究现状3 1.2.2 短文本分类的研究现状4 1.3 研究内容6 1.4 结构安排6 第 2 章 相关理论与技术简介7 2. 1 情感词典构建技术7 2.2 文本分类技术8 2.2.1 文本表示8 2.2.2 分类模型9 2.3 文本分类评价指标11 2.4 本章小结12 第 3 章 基于屏蔽词典的垃圾弹幕屏蔽13 3.1 垃圾弹幕词典构建13 3.1.1 基于 Word2Vec 的屏蔽词典自动构建13 3.1.2 基于 PMI 的屏蔽词典自动构建13 3.1.3 基于 LDA 的屏蔽词典自动构建14 3.1.4 基于 TF-IDF 的屏蔽词典自动构建14 3.1.5 基于信息增益的屏蔽词典自动构建15 3.2 实验及结果分析15 3.2.1 实验数据15 3.2.2 评价指标和实验设置16 3.2.3 实验结果分析17 3.3 案例分析22 I 3.4 本章小结22 第 4 章 基于上下文的隐式垃圾弹幕屏蔽23 4. 1 隐式垃圾弹幕介绍23 4.2 基于上下文的隐式垃圾弹幕屏