基于可解释性对抗文本的对抗训练方法发明专利.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 110457701 A (43)申请公布日 2019.11.15 (21)申请号 201910729584.9 (22)申请日 2019.08.08 (71)申请人 南京邮电大学 地址 210023 江苏省南京市雨花台区宁双 路19号 (72)发明人 张伟　陈谦　陈云芳　 (74)专利代理机构 南京苏高专利商标事务所 (普通合伙) 32204 代理人 吴静波 (51)Int.Cl. G06F 17/27(2006.01) G06F 17/22(2006.01) G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 权利要求书2页 说明书5页 附图2页 (54)发明名称 基于可解释性对抗文本的对抗训练方法 (57)摘要 本发明公开了本发明是基于可解释性对抗 文本的对抗训练方法；包括：(1)对输入的文本使 用中和过滤器、去混淆过滤器和拼写检查进行处 理，将所有的文本转为可读的文本，修改恶意拼 写错误的单词；(2)构建文本分类模型，将经过拼 写检查的输入和其对应的标签训练文本分类模 型；(3)根据对抗样本生成的方法和初始的文本 分类模型依次生成文本对抗样本；(4)利用生成 的文本对抗样本和原始的样本，重新训练原始分 类模型，得到可以防御对抗样本攻击的文本分类 模型。利用本发明的方法，可以提高模型对恶意 文本的检测效果，防止恶意文本的攻击。 A 1 0 7 7 5 4 0 1 1 N C CN 110457701 A 权　利　要　求　书 1/2页 1.一种基于可解释性文本的对抗训练方法，其特征在于：所述方法包括以下步骤： (1)使用python的开源PyEnchant包根据字典树对单词进行拼写检查，将输入的文本转 为可读的文本； (2)将进过拼写检查的单词，进行词向量的训练，将离散的文本转为连续的词向量表 示； (3)构建文本分类模型，根据文本对应的词向量输入和其对应的标签训练文本分类模 型； (4)根据对抗样本生成的方法和初始的文本分类模型依次生成文本对抗样本； (5)利用生成的文本对抗样本和原始的样本，重新训练原始分类模型，得到可防御对抗 样本攻击的文本分类模型。 2.根据权利要求1所述的基于可解释性文本的对抗训练方法，其特征在于：步骤(2)中 所述的将离散的文本转为连续的词向量表示具体为使用python的开源PyEnchant包根据字 典树对单词进行拼写检查：将全部的英式英语和美式英语单词作为词典，构造多叉的词典 树；做检查的时候，从根节点，一级一级的向下找；若字母匹配失败，那么这个单词则为错误 的拼写；对于错误的拼写将其转为原始的文本。 3.根据权利要求1所述的基于可解释性文本的对抗训练方法，其特征在于：步骤(3)所 述的构建文本分类模型，根据Word2vec技术训练对应的词向量模型，训练的模型采用连续 词袋模型；通过连续词袋模型将过滤过的文本训练为具有语义信息的词向量，并用词向量 作为神经网络模型的输入。 4.根据权利要求1所述的基于可解释性文本的对抗训练方法，其特征在于：骤(3)所述 的练文本分类模型，具体为预训练RNN文本分类模型，令D表示数据集，θ表示基于RNN的模型 中的总体参数； 是整个训练数据的损失函数， 是数据集D上个体训