面向网络舆情分析的语义相似度算法研究-中国管理科学.pdfVIP

山东科学 第２７卷　第６期　２０１４年１２月出版 ＳＨＡＮＤＯＮＧＳＣＩＥＮＣＥ Ｖｏｌ．２７Ｎｏ．６Ｄｅｃ．２０１４ ＤＯＩ：１０．３９７６／ｊ．ｉｓｓｎ．１００２－４０２６．２０１４．０６．０１２ 面向网络舆情分析的语义相似度算法研究 魏飞，杨春波，刘守鹏 （滨州医学院，山东烟台２６４００３） 摘要：本文对广义向量空间模型进行了改进，并利用《知网》义原提出了一种基于义原空间的文本相似度计算方法。此方 法根据ＴＦＩＤＦ权重，将文中特征项转化为义原空间中的向量，通过求义原向量之间的夹角余弦值的方式，实现文本相似 度的计算。最后进行文本聚类对比实验，结果表明，该方法可以很好地解决舆情分析中的语义漂移问题，使得网络舆情 分析的效果有了较大提高。 关键词：网络舆情；知网；相似度 中图分类号：ＴＰ３９３　　　文献标识码：Ａ　　　文章编号：１００２４０２６（２０１４）０６００７３０５ Ｎｅｔｗｏｒｋｐｕｂｌｉｃｏｐｉｎｉｏｎａｎａｌｙｓｉｓｏｒｉｅｎｔｅｄｓｅｍａｎｔｉｃｓｉｍｉｌａｒｉｔｙａｌｇｏｒｉｔｈｍ ＷＥＩＦｅｉ，ＹＡＮＧＣｈｕｎｂｏ，ＬＩＵＳｈｏｕｐｅｎｇ （ＢｉｎｚｈｏｕＭｅｄｉｃａｌＵｎｉｖｅｒｓｉｔｙ，Ｙａｎｔａｉ２６４００３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ∶Ｗｅｉｍｐｒｏｖｅｔｈｅｇｅｎｅｒａｌｉｚｅｄｖｅｃｔｏｒｓｐａｃｅｍｏｄｅｌ，ａｎｄｐｒｅｓｅｎｔａｎｏｒｉｇｉｎａｌｍｅａｎｉｎｇｓｐａｃｅｂａｓｅｄｔｅｘｔｓｉｍｉｌａｒｉｔｙ ｃｏｍｐｕｔｉｎｇｍｅｔｈｏｄｗｉｔｈｔｈｅ“ＨｏｗＮｅｔ”ｓｅｍｅｍｅ．ＴｈｅｍｅｔｈｏｄｃｏｎｖｅｒｔｓａｆｅａｔｕｒｅｉｎｔｏａｖｅｃｔｏｒｉｎａｓｅｍｅｍｅｓｐａｃｅｗｉｔｈＴＦ ＩＤＦｗｅｉｇｈｔ，ａｎｄｃａｌｃｕｌａｔｅｓｔｅｘｔｓｉｍｉｌａｒｉｔｙｂｙｔｈｅｃｏｓｉｎｅｏｆｔｈｅａｎｇｌｅｂｅｔｗｅｅｎｄｉｆｆｅｒｅｎｔｓｅｍｅｍｅｖｅｃｔｏｒｓ．Ｗｅｅｖｅｎｔｕａｌｌｙ ｐｅｒｆｏｒｍｔｅｘｔｃｌｕｓｔｅｒｉｎｇａｎｄｃｏｍｐａｒａｔｉｖｅｅｘｐｅｒｉｍｅｎｔｓ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｍｅｔｈｏｄｃａｎｗｅｌｌｓｏｌｖｅｔｈｅ ｐｒｏｂｌｅｍｏｆｓｅｍａｎｔｉｃｄｒｉｆｔｏｆｐｕｂｌｉｃｏｐｉｎｉｏｎａｎａｌｙｓｉｓ，ａｎｄｉｔｓｅｆｆｅｃｔｃａｎｂｅｓｉｇｎｉｆｉｃａｎｔｌｙｉｍｐｒｏｖｅｄ． Ｋｅｙｗｏｒｄｓ∶ｉｎｔｅｒｎｅｔｐｕｂｌｉｃｏｐｉｎｉｏｎ；ＨｏｗＮｅｔ；ｓｉｍｉｌａｒｉｔｙ 　　舆情指的是在某一特定的社会空间内，围绕中介性社会事件的发生、发展和变化，民众对社会管理者产 ［１］ 生和持有的社会政治态度 。它是大众关于社会中各种现象、问题所表达的信念、态度、意见和情绪等等表 现的总和。而网络舆情则指的是民众通过互联网所表达的社会政治态度，相比传统媒体，具有较强的即时性 和偏差性，即由于网络具有较强的虚拟性，未实现全部发言者实名制，并且规则限制较少无法形成有效监督， 网络自然成为一些网民情绪宣泄的最理想空间。 目前的网络舆情分析系统，大都采用基于向量空间模型（ｖｅｃｔｏｒｓｐａｃｅｍｏｄｅｌ，ＶＳＭ）的文本分析技术，通 过对特征词进行词频分析实现的。这种技术方法具有分析速度快、实现简单等优点，但这类方法是建立在文 本的词语都是相互独立、没有交集的理想状态下，并未考虑到现实生活中，语言之间存在的相关性与相似性， 因此许多文本采用基于向量空间模型无法做出很好的判断。为解决此问题，肖志军等［２］在ＶＳＭ模型的基础 收稿日期：２０１４０５１４ 基金项目：烟台市社会科学规划研究项目（２０１２ＳＨ１１） 作者简介：魏飞（１９８１－），男，硕士，研究方向为算法设计、网络安全和图像处理。Ｅｍａｉｌ：ｐｅｔｅｒｆｅｉ３０００＠１６３．ｃｏｍ ７４ 山　东　科　学　 　　　　　　　　　　　　　　　　　２０１４年 上进行了改进，提出了广义向量空间模型（ｇｅｎｅｒａｖｅｃｔｏｒ