融合词向量特征的双词主题模型-计算机应用研究.PDFVIP

第３４卷第７期 计 算 机 应 用 研 究 Ｖｏｌ．３４Ｎｏ．７ ２０１７年７月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｊｕｌ．２０１７ 融合词向量特征的双词主题模型 刘良选，黄梦醒 （海南大学信息科学技术学院，海口５７０２２８） 摘　要：针对短文本中固有的文本内容稀疏和上下文信息匮乏等问题，在双词主题模型（ＢＴＭ）的基础上提出一 种融合词向量特征的双词主题模型 ＬＦＢＴＭ。该模型引入潜在特征模型以利用丰富的词向量信息弥补内容稀 疏，在改进的生成过程中每个双词的词汇的生成受到主题—词汇多项分布和潜在特征模型的共同影响。模型中 的参数通过吉布斯采样算法进行估计。在真实的短文本数据集上的实验结果表明，该模型能结合外部通用的大 规模语料库上已训练好的词向量挖掘出语义一致性显著提升的主题。 关键词：主题模型；潜在狄利克雷分配；短文本；双词主题模型；词向量；吉布斯采样 中图分类号：ＴＰ３９１．１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１７）０７２０５５０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１７．０７．０２９ Ｂｉｔｅｒｍｔｏｐｉｃｍｏｄｅｌｗｉｔｈｗｏｒｄｖｅｃｔｏｒｆｅａｔｕｒｅｓ ＬｉｕＬｉａｎｇｘｕａｎ，ＨｕａｎｇＭｅｎｇｘｉｎｇ （ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＨａｉｎａｎＵｎｉｖｅｒｓｉｔｙ，Ｈａｉｋｏｕ５７０２２８，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｃｏｎｔｅｎｔｓｐａｒｓｉｔｙａｎｄｌａｃｋｏｆｃｏｎｔｅｘｔｉｎｆｏｒｍａｔｉｏｎｅｘｉｓｔｅｄｉｎｈｅｒｅｎｔｌｙｉｎｓｈｏｒｔｔｅｘｔｓ，ｔｈｉｓｐａｐｅｒ ｐｒｏｐｏｓｅｄａｂｉｔｅｒｍｔｏｐｉｃｍｏｄｅｌ（ＢＴＭ）ｉｎｃｏｒｐｏｒａｔｉｎｇｗｏｒｄｖｅｃｔｏｒｆｅａｔｕｒｅｓＬＦＢＴＭｂａｓｅｄｏｎＢＴＭ．Ｔｈｉｓｍｏｄｅｌｉｎｔｒｏｕｄｅｄｌａｔｅｎｔ ｆｅａｔｕｒｅｍｏｄｅｌｗｈｉｃｈｕｔｉｌｉｚｅｄｉｔｓａｂｕｎｄａｎｔｗｏｒｄｖｅｃｔｏｒｉｎｆｏｒｍａｔｉｏｎｔｏｏｆｆｓｅｔｔｈｅｄａｔａｓｐａｒｓｉｔｙ．Ｇｅｎｅｒａｔｉｏｎｏｆｗｏｒｄｓｉｎｅａｃｈｂｉｔｅｒｍ ｗａｓｉｎｆｌｕｅｎｃｅｄｊｏｉｎｔｌｙｂｙｔｏｐｉｃｗｏｒｄｍｕｌｔｉｎｏｍｉａｌｄｉｓｔｒｉｂｕｔｉｏｎａｎｄｌａｔｅｎｔｆｅａｔｕｒｅｓｍｏｄｅｌｉｎｔｈｅｉｍｐｒｏｖｅｄｇｅｎｅｒａｔｉｖｅｐｒｏｃｅｓｓ．Ｐａ ｒａｍｅｔｅｒｓｉｎｔｈｅｍｏｄｅｌｃｏｕｌｄｂｅｌｅａｒｎｅｄｂｙｏｆＧｉｂｂｓｓａｍｐｌｉｎｇｍｅｔｈｏｄ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎｒｅａｌｗｏｒｌｄｓｈｏｒｔｔｅｘｔｓｄａｔａｓｅｔｓ ｄｅｍｏｎｓｔｒａｔｅｔｈａｔｔｈｅｍｏｄｅｌｃａｎｉｎｔｅｇｒａｔｅｗｏｒｄｖｅｃｔｏｒｓｔｒａｉｎｅｄｆｒｏｍｅｘｔｅｒｎａｌｇｅｎｅｒａｌｌａｒｇｅｓｃａｌｅｃｏｒｐｏｒａｔｏｐｒｏｄｕｃｅｓｉｇｎｉｆｉｃａｎｔ ｉｍｐｒｏｖｅｍｅｎｔｓｏｎｔｏｐｉｃｃｏｈｅｒｅｎｃｅ． Ｋｅｙｗｏｒｄｓ：ｔｏｐｉｃｍｏｄｅｌ；ｌａｔｅｎｔＤｉｒｉｃｈｌｅｔａｌｌｏｃａｔｉｏｎ；ｓｈｏｒｔｔｅｘｔｓ；ｂｉｔｅｒｍｔｏｐｉｃｍｏｄｅｌ；ｗｏｒｄｖｅｃｔｏｒ；Ｇｉｂｂｓｓａｍｐｌｉｎｇ 虑短文本的数据稀疏性，在应用于短文本建模时效果往往不够 　引言 理想。研究人员在长文本主题模型的基础上提出了大量适用 近年来，伴随着互联网技术的迅猛发展和迅速普及，以微 于短文本的主题模型。Ｈｏｎｇ等人［５