基于关联规则的文本主题深度挖掘应用研究.PDFVIP

研究论文 基于关联规则的文本主题深度挖掘应用 研究* 阮光册 夏 磊 (华东师范大学信息管理系 上海 200241) (上海图书馆 上海 200031) 摘要: 【目的 】准确理解文本信息中潜在的知识关联, 丰富文本知识挖掘的方法。【方法 】将主题模型和关联规 则相结合, 运用 LDA 主题模型抽取文本中的主题集合, 在实现文本降维的同时, 实现文本在语义空间的表达; 通过关联规则进一步挖掘文本中主题的语义关联。【结果 】设置合理的支持度和置信度阈值, 可以有效地挖掘文 本中潜在知识的关联, 实现对文本的深入“理解”。【局限 】数据预处理过程中, 用户自定义词典的设计会对实验 结果产生一定的影响。【结论 】提出一种非结构化文本信息潜在语义关联挖掘的新思路, 改善了针对文本信息知 识发现的效果。 关键词: 关联规则 主题模型 文本主题 分类号: G350 “理解”文本。对文本的深入理解一方面可以完成文本 1 引 言 挖掘或自然语言处理, 并实现如自动人工问答等信息 随着信息技术和互联网通信技术的发展与普及, 服务。另一方面也能挖掘文本潜在语义, 为信息工作 产生了大量的文本信息, 文本信息的快速增长使得人 者提供相关的技术支持。在主题模型出现以前, 信息 们在信息处理和检索中面临前所未有的挑战。对文本 处理和文本挖掘领域对文本的表示主要采用空间向量 模型[2] [3] 的理解, 不仅有助于信息检索、内容发现等情报工作 和统计语言模型 。这两种方式虽然在方法上存 的开展, 同时对信息的有效分类、组织也提供了借鉴。 在差异, 但也有很多相同点, 都能够将一个文档实现 然而文本信息的组织形式是松散的, 对一般用户来说, “文本→词”的映射或表示。 过量的文本信息反而使得信息使用率降低, 使人们迷 传统的文本表示方法将文本表现在词典空间上, 失在复杂的信息空间中[1] 。海量的文本信息已经远远 这种方式会忽略文本中很多重要的信息, 无法达到文 超出人们的理解和概括能力, 通过人工的方式去查找 本语义的理解。主题模型引入语义维度, 将文本信息 有用的信息并凝练知识已变得不可能, 如何利用计算 在语义层实现了浓缩, 即实现“文本→语义→词”的语 机有效地组织和管理这些文本资源, 并运用信息技术 义映射。本文将关联规则与主题模型相结合, 从文本 帮助用户在大量文本中挖掘隐含的知识成为当前信息 的主题模型入手, 构建大量文本的主题集合, 通过关 技术领域面临的一大挑战。 联规则算法, 构建文本主题的关联关系, 实现对文本 随着对文本认识的发展, 人们开始追求对文本本 主题的深度挖掘。并以有关“一带一路”的新闻报道文 身更深的理解, 从而使计算机甚至人们能够更好地 本为例, 实现文本信息的主题关联挖掘实验。 通讯作者: 阮光册, ORCID: 0000-0001-8685-5234, E-mail: rgc1976@126.com 。 *本文系上海哲学社会科学一般项目“基于主题模型的学科交叉知识发现研究”(项目编号: 2016BTQ002)的研究成果之一。 50 现代图书情报技术 总第277 期 2016 年 第12 期 2 相关研究 为此, 本文从文本的主题模型入手, 将文本的词 项空间变换为主题空间, 实现对文本的语义降维, 再