基于向量空间模型的文本风格相似度分析--以女性文学为例.pdfVIP

基 于 向量 空 间模型 的文本风格相似度分析 以女性文学为例 邢翠鹃 (南京师范大学 文学院，江苏 南京 210097) 摘 要：本文主要用向量空间模型(VectorSpaceModel，VSM)来分析女性文学代表作家的作品，通过TF—IDF计算文本特 征项的权重，最后根据计算结果来分析这些女性文学作家作品的文本风格相似度。并以此证明同时代不同作家或不同时代 同类作家(女性文学作家)的文本是 同中有异，异 中有同，此外还分析了部分特征词的分布情况。 关键词：向量空间模型 TF-IDF 文本相似度 女性文学 引言 ： 方法。最早由G．salton在1973年提出①。TF(termfrequency)是 文本中的相似度计算是 自然语言处理领域 中的关键问 指关键词词频 ，即一篇文章中关键词出现的频率 ：IDF(in． 题之一 ，在信息检索、信息抽取、专利分析等领域都有着重 versedocumentfrequency)是指逆向文本频率，即关键词在不 要的应用价值。面对现代网络信息时代的海量信息，我们可 同文档中的分布情况。它的基本思路是：一个词在一个文本 以通过文本相似度算法来为信息分类 ，以提高信息检索的 中出现的频率越高，说明它区分该文本的能力越强 (TF)；一 效率。早在20世纪3O年代，西方文体学界即开始引入定量分 个词在不 同文本中出现的范围越广，说明它区分文本的能 析 ，尤其是统计学的方法_1_，而将计算方法应用于汉语语言 力越低 (IDF)。经过Salton的多次论证 ，信息检索领域广泛地 风格学研究最早始于20世纪70、8O年代 。人们用词频统计等 使用TF-IDF算法计算权重 ．其经典计算公式为： 方法来考证 红《楼梦》的作者归属问题O这种方法也得到了 ×i 我国语言风格学界一些学者的肯定 。如黎运汉先生就专文 论述了语言风格研究中常用的三种方法：分析综合法 、比较 根据以上分析 ，容易获得两个直观结果：a)某个特征项 法和统计法 。他指 出，“统计法适用于各种语 言风格 的研 在文本中出现的频率越高 ．则这个特征项对这个文本越具 究”，因为 “风格特点的质必然反映在语言因素的量上”，“风 有标志能力 ，赋予这个特征项的特征权重应该越大．b)某个 格学应用它提供的数据 ，从质和量的统一上研究风格现象 ， 特征项在文本集合中各个文本内出现的频率越高 ，那么用 进而认识风格的本质”[2]。 这个特征项对文本集合 中的文本进行分类的区分能力越 1．向量空间模型C3] 弱。例如在英文文本中，t“he”出现的频率很高 ，但是这个单 向量空间模型是一种用来表示文档的方法，它的思想 词对各文本的区分能力却很差。 是将文档分解为 由词条特征构成的向量 。具体做法是将文 2．研究对象 档进行分词，然后计算文档中每个词条的权重 ，权重计算可 女性文学是诞生于一定的社会历史条件下 。以五四新 以利用TF—IDF算法。由计算得到的权重构成一个矢量空间， 文化运动为开端，具有现代人文精神 内涵 ，以女