一种基于机器学习的暗网威胁情报挖掘系统和方法[发明专利].pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 112148956 A (43)申请公布日 2020.12.29 (21)申请号 202011065192.6 (22)申请日 2020.09.30 (71)申请人 上海交通大学 地址 200240 上海市闵行区东川路800号 (72)发明人 邹福泰　施纬　吴越　李林森　 (74)专利代理机构 上海旭诚知识产权代理有限 公司 31220 代理人 郑立 (51)Int.Cl. G06F 16/9532 (2019.01) G06F 16/9535 (2019.01) G06F 16/33 (2019.01) 权利要求书2页 说明书5页 附图2页 (54)发明名称 一种基于机器学习的暗网威胁情报挖掘系 统和方法 (57)摘要 本发明公开了一种基于机器学习的暗网威 胁情报挖掘系统和方法，涉及计算机网络安全领 域，暗网威胁情报挖掘系统包括数据下载模块、 数据解析模块、数据库模块、威胁情报提取模块、 数据接口模块；威胁情报提取模块包括用户信息 提取模块、商品信息提取模块、网页威胁内容提 取模块。本发明采用规则匹配、人工筛选、深度学 习的方法提取暗网网页中的威胁情报，在保持较 高准确率的同时大大提升了效率，同时也集成了 完整的数据下载、数据存储、数据预处理以及多 功能的数据接口，为暗网安全事件调查提供辅助 A 作用。 6 5 9 8 4 1 2 1 1 N C CN 112148956 A 权　利　要　求　书 1/2页 1.一种基于机器学习的暗网威胁情报挖掘系统，其特征在于，包括数据下载模块、数据 解析模块、数据库模块、威胁情报提取模块、数据接口模块； 所述数据下载模块实现暗网原始数据的下载和更新； 所述数据解析模块实现对所述数据下载模块得到的原始数据的解析、格式化及存储； 所述数据库模块实现对所述数据下载模块得到的原始数据、所述数据解析模块得到的 中间数据、所述威胁情报提取模块得到的结果数据的存储； 所述威胁情报提取模块实现对所述数据库模块中存储的数据的分析和内容提取； 所述数据接口模块实现对数据库的分类访问、数据搜索、数据下载。 2.如权利要求1所述的基于机器学习的暗网威胁情报挖掘系统，其特征在于，所述数据 解析模块实现对原始数据的初步处理，实现格式统一，通过hash值实现唯一标识，并以网页 为单位进行存储。 3.如权利要求1所述的基于机器学习的暗网威胁情报挖掘系统，其特征在于，所述数据 库模块基于MySQL，存储的信息包括关键站点信息、用户信息、商品信息和威胁内容信息。 4.如权利要求1所述的基于机器学习的暗网威胁情报挖掘系统，其特征在于，所述威胁 情报提取模块包括用户信息提取模块、商品信息提取模块、网页威胁内容提取模块。 5.如权利要求4所述的基于机器学习的暗网威胁情报挖掘系统，其特征在于，所述网页 威胁内容提取模块基于Glove词向量算法和GRU神经网络模型，包括文本处理、词向量化、模 型预测和结果输出。 6.如权利要求1所述的基于机器学习的暗网威胁情报挖掘系统，其特征在于，所述数据 接口模块基于Flask。 7.如权利要求1所述的基于机器学习的暗网威胁情报挖掘系统，其特征在于，还包括一 个基于react的可拓展前端框架，用户在此基础上实现二次开发。 8.一种基于机器学习的暗网威胁情报挖掘方法，其特征在于，包括以下步骤： 步骤1、所述数据下载模块通过爬虫下载暗网原始数据，下载过程中实时统计下载进 度，验证文件完整性，下载完毕后原始数据存储到临时文件； 步骤2、所述数据解析模块处理原始