安全图谱应用—黑灰产团伙发现.pdfVIP

安全知识图谱应用—黑灰产团伙挖掘 邓永 腾讯安全高级研究员 目录 1 、安全知识图谱介绍 2 、黑灰产团伙挖掘方法 3 、总结 安全图谱介绍——异构图图数据库 ➢ 包含多种安全实体——文件、域名、IP 、 URL 、域名注册信息、病毒家族、漏洞CVE 等 ➢ 包含多种实体与实体之间的关系 ➢ 利用学习模型学习的实体与实体之间的关系 ➢ 域名相似度 ➢ 文件相似度 ➢ 图数据库能够做到快速深度优先遍历 团伙介绍——商贸信家族团伙 安全图谱的应用——黑灰产团伙挖掘 ➢ 团伙的安全实体在图谱中具有很强的内聚性 ➢ 同团伙的实体与实体之间的网络和行为关系连接紧密 ➢ 不同团伙间的实体与实体连接比较稀疏 ➢ 利用图聚类算法发现可疑团伙 ➢ 能够从整体全面分析团伙的行为 b496511fb6.pw 点 面 体 安全图谱的应用——黑灰产团伙挖掘步骤 ➢ 构建图（200+亿节点，1500+亿边，图太大） ➢ 直接关系 ➢ 间接关系 ➢ 图聚类算法（发现可疑类簇） ➢ FastUnfolding算法 ➢ 聚类结果分析 ➢ 基于规则和人工运营的方法 构建实体与实体关系图 ➢ 直接关系：实体网络关系和实体行为关系 ➢ 直接关系能够通过日志、沙箱和外部数据直接得到的关系对； ➢ 例如文件访问域名、域名解析IP 、文件访问IP 、域名与注册者等关系 ➢ 间接关系：通过非图谱中的实体间接关联而学习得到 ➢ 文件与文件相似度关系 ➢ 域名与域名相似度关系 构建实体与实体关系图 ➢ 直接关系：实体网络关系和行为关系 ➢ 图数据库中通过广度优先遍历 ➢ 遍历过程中对数据进行清洗和降噪 ➢ 起始节点的选择问题 构建实体与实体关系图 ➢ 间接关系：通过非图谱中的实体间接关联而学习得到 ➢ 文件与文件相似度关系 ➢ 文件与文件通过静态、动态和网络行为特征建立关联 ➢ 文件与文件通过uid建立关联 ➢ 域名与域名相似度关系 ➢ 域名与域名通过uid建立关联 构建图——文件相似性 ➢ 文件静态相似性 ➢ 文件动态相似性 ➢ 文件网络行为相似性 构建图——文件相似性 ➢ 文件静态相似性 ➢ 文件动态相似性 ➢ 文件网络行为相似性 构建图——文件相似性 ➢ 文件静态相似性 ➢ 文件动态相似性 ➢ 文件网络行为相似性 构建图——基于simhash计算文件相似性 SimHash是一种局部敏感hash 。它也是Google公司进行海量网页去重使用的主要算法。它通过将原始的文本映射为二进制数字串，然后通过比较二进制数字串 的差异进而来表示原始文本内容的差异。 你妈妈喊你回家吃饭了 你妈妈叫你回家吃饭啦 通过传统hash计算为： 0001000001100110100111011011110 1010010001111111110010110011101 通过simhash计算结果为： 100001001010