基于分布式非负矩阵分解的大规模主题社区挖掘-快速了解中国科学.PDFVIP

中国科学: 信息科学 2016 年 第46 卷 第6 期: 714–728 SCIENTIA SINICA Informationis 论 文 基于分布式非负矩阵分解的大规模主题社区挖掘 * 贺超波 汤庸 杨阿祧 赵淦森 刘海 黄昌勤 仲恺农业工程学院信息科学与技术学院, 广州 510225 华南师范大学计算机学院, 广州 510631 贵州师范大学数学与计算机科学学院, 贵阳 550001 * 通信作者. E-mail: ytang4@ 收稿日期: 2015–11–18; 接受日期: 2016–01–22; 网络出版日期: 2016–05–30 国家自然科学基金(批准号:、国家高技术研究发展计划 (批准号: 2013AA01A212)、国家科技支撑计划项目 (批准号: 2012BAH27F05, 2014BAH28F02)、广东省自然科学基金 (批准号: S2012030006242, 2015A030310509)、广东省科技计 划项目 (批准号: 2015A020209178)、广东省高性能计算重点实验室开放课题 (批准号: TH1527) 和广州市云计算安全与测评技术 重点实验室开放基金 (批准号: GZCSKL-1407) 资助项目 摘要 复杂网络的主题社区挖掘具有重要的应用价值, 但现有方法可扩展性差, 无法高效挖掘大 . , : 规模复杂网络的主题社区 针对该问题 提出一种基于分布式非负矩阵分解的主题社区挖掘方法 TCMDNMF (topic community mining based on distributed nonnegative matrix factorization), 该方法基于非 负矩阵联合分解模型, 可以有效统一集成节点链接和内容信息挖掘主题社区. 通过采用梯度下降方 法对主题社区挖掘模型进行了优化求解, 并引入 范数作为稀疏性正则项以及基于MapReduce 分 布式计算框架提高了关键算法的计算效率. 实验结果表明, TCMDNMF 不仅可以有效挖掘主题社区, 而且具有高度可扩展性, 可以有效解决大规模复杂网络主题社区挖掘带来的大数据量计算问题. 关键词 复杂网络 主题社区挖掘 非负矩阵分解 MapReduce 梯度下降 引言 复杂网络中的主题社区(topic community) 挖掘不同于传统的只基于节点链接信息的社区挖掘, 它 综合考虑了节点的链接以及内容信息, 从而可以获得成员节点链接紧密且主题特征相似的社区. 主题 社区的挖掘结果在现实中更具有应用价值, 如对科技文献合著关系网络的研究方向主题社区挖掘可以 发现各研究领域具有代表性的研究团队, 对在线社交网络的兴趣主题社区挖掘可以为电子商务运营商 进行精准社会化营销提供有力支持. 目前主题社区挖掘已成为复杂网络社区挖掘问题新的研究热点, 并提出了不少具有代表性的方法, 例如, Zhao 等 提出一种基于社交对象聚类和链接分析的主题社 区发现方法, 该方法首先采用K-means 算法对节点所关联的社交对象, 如博客、评论等, 进行文本内容 聚类并学习节点的主题标签, 然后再通过基于链接信息的模块度最大化社区划分方法挖掘主题社区; Yin 等 提出了一种潜在社区主题分析模型LCTA, 该模型基于似然函数生成主题词项与节点的关联 图, 并采用期望最大化方法对相关参数进行估计, 在DBLP 合著关系网络以及Twitter 社交网络的实 引用格式 贺超波 汤庸 杨阿祧 等 基于分布式非负矩阵分解的大规模主题社区挖掘 中国科学 信息科学 ⃝ 《中国科学》杂志社