不良信息发现B组.pptxVIP

;不良信息;;;传统方法-暴力匹配;汉语分词技术;汉语分词技术技术难点;汉语分词技术;利用词向量扩充不良关键词库;识别变体的方法-计算字符串的相似度;不良文本变体;英文中的变体;基于Jaccard方法的相似度计算;基于N-gram的相似度计算;基于编辑距离的相似度计算;Yoon’smethod;字音的相似度;中文中的变体;对中文文本变体的处理方法;对中文文本变体的处理方法;对中文文本变体的处理方法;待解决的问题;机器学习方法-文本二分类问题;;发现不良信息过程---警察视角;

;涉及相关技术;技术简介;一个不良文本被发现的过程---罪犯视角;基于word2vec的词扩展

;基

于

word2vec

词

扩

展

流

程

; K-NearestNeighboralgorithm，简称KNN算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。;

在给定新文本后，考虑在训练文本集中与该新文本距离最近(最相似)的K篇文本

根据这K篇文本所属的类别判定新文本所属的类别;

根据特征项集合重新描述训练文本向量；

在新文本到达后，根据特征词，确定新文本的向量表示；

在训练文本集中选出与新文本最相似的K个文本，计算公式：

在新文本的k个邻居中，依次计算每类的权重：

比较每类的权重，将文本分到权重最大的那个类别中

;

针对两类分类问题，在高维空间中寻找一个超平面作为两类的分割，以保证最小的分类错误率

它通过非线性变换，将输入向量映射到一个高维空间H

在H中构造最优分类超平面，从而达到最好的泛化能力;对于一个包含两个不同类别样本的数据集，分别用方块和圆圈区别表示。

假如数据集是线性可分的，则能够找到一个超平面，使得方块位于这个超平面的一侧，圆圈位于超平面的另一侧。

需要分类器能够从这些超平面中选择一个最优结果作为最终的决策边界。

;支持向量;计算文本属于类别的概率。

文本属于类别的概率等于文本中的每个词属于类别的概率的综合表达式。;朴素贝叶斯算法基本思想;doc;

P(yes|d)=(3/7)3×1/14×1/14×8/11=108/184877≈0P(no|d)=(2/9)3×2/9×2/9×3/11=32/216513≈0P(yes|d)P(no|d)因此，这个文档属于类别china。

;;;;;文本处理领域图像处理领域;特征提取原则：

局部特征需要具有较强的可区分性，能够最大限度地与其他物体进行区分，此外，还要求被提取的特征具有较好的稳定性;BOW图像生成数值向量;训练分类器;;Adaboost;Adaboost-矩形特征;边缘特征;Adaboost-特征值计算;Adaboost-分类器训练;Adaboost-图像检测;;卷积神经网络;卷积神经网络——卷积层;卷积神经网络——卷积层;卷积神经网络——卷积层;卷积神经网络——卷积层;减少图像的空间大小;;经典卷积神经网络模型;不良图像检测框架;基于Inception模块的卷积神经网络模型;卷积神经网络模型;;;思考——生成式对抗网络;一妇女拿假钞去买早点，小贩恼了，很严肃的说：大姐，你给假钞也就算了，最起码是张印的嘛，你这张钞票居然是画的！

就算退一万步说，画的也就算了，你给画一张十块的、二十块的都行，对不对？你还给画张七块的！

七块就七块吧，就不说了，最起码也得画彩色的啊，居然用铅笔画的！算了，我忍了！黑白就黑白的！

那也不能用手纸画啊！就算是手纸我也认了！

你怎么着也得用剪子把边剪齐了啊，这个用手撕的，毛边太夸张了。行，毛边我也不想说了

可你也撕个长方型啊！这个三角型就太说不过去了吧！;思考——生成式对抗网络;