基于共振理论的词汇相关性计算-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 HYPERLINK \l _bookmark0 5.4 词汇远程相关性实验结果及其分析 ................................ 31 HYPERLINK \l _bookmark1 5.5 本章小结 ............................................................................ 35 HYPERLINK \l _bookmark2 6. 总结与展望 ........................................................................... 36 HYPERLINK \l _bookmark3 参考文献 ............................................ 37 HYPERLINK \l _bookmark4 攻读硕士学位期间完成论文 ............................ 40 HYPERLINK \l _bookmark5 致谢 ................................................ 41 摘 要 词汇的相关性研究是自然语言处理领域的一个基础课题。在传 统的词语相关性研究中，大多关注一对词汇之间的相关性；并且大 多都存在一个假设：即相关的词汇至少应该以“共同出现”为基础。 然而，互联网的新闻文本中的事件是具备演化特征的，随着时间的 推移，事件的演化，互联网文本的内容往往会发生缓慢或者突发的 迁移，文本中包含的相关事件之间的词汇并不一定会在同一文档中 出现，但这些词汇必然存在很强的相关性。所以运用传统的基于“共 同出现”的词汇相关性计算方法解决这种特殊相关性问题时，就显 得黯然失色了。 为了克服上述问题，本文提出一种基于共振理论的的词汇远程 相关性思想，及远程相关性的计算方法。这种方法以共振理论为依 托，类比于物理学中振动的物体由于固有频率相同或接近产生共振 的条件，将词汇相关性研究转化为对词汇波动性的研究。通过远程 相关性的计算，能够找到某领域内某些目标词汇的同类词汇，并利 用相关工具和方法，计算目标词汇与同类词汇之间具体相关性的大 小。 通过统计词汇的频次随时间的变化规律，并以信号波形的形式 将其在二维直角坐标系中展示，运用傅里叶变换和小波分析两种波 形处理工具对其进行处理，将词汇在时域上的词汇波形转化为频域 上的波动性特征，并对其进行分析，将得到的傅里叶变换分量和小 波系数作为词汇相关性计算的特征。最后，根据词汇的特征进行相 关性聚类操作，并以特征向量之间的欧氏距离为度量，以确定目标 词汇与同类别词汇具体相关性的大小。实验结果表明，通过对词汇 波动情况的统计与分析，不仅能够发现传统意义上的相关性词汇， 还能够找到远程相关的词汇。利用这种词汇的远程相关性来预测某 些事件的发生，研究对事件之间的关联性检索具有一定得意义。 I 关键词：自然语言处理，共振理论，傅里叶变换，小波分析，远程 相关性 II ABSTRACT The research of lexical relatedness is a basic subject in the field of Natural Language Processing. In the traditional work which concerns measuring lexical relatedness, evaluating semantic relatedness between a pair of words is viewed as main research topic. Furthermore, there is an assumption in related work: the words took into consideration to measure semantic relatedness always co-occur in the same text window. However, the events of the Internet are constantly changing. The movement of the content of the Internet news is thought to have occurred quickly or slowly. The words corresponding to different events may not appear in a same text. In this thesis, I put fo