4.4 词袋模型 PPT课件.pptx

;;计算机是无法直接处理文本数据的，因此，我们需要将文本转换为可以计算的形式。在这里，我们引入词袋模型BOW（bagofwords）来表示文本。BOW模型有着广泛的应用，例如，Brown等（2018）利用BOW构建余弦相似度，研究了SEC对公司的风险披露进行调查的溢出效应。Purda和Skillicorn（2014）利用BOW构建文本分析工具，用来预测公司的财报舞弊行为。

;在词袋模型中，文本被表示为一个向量，其中每个元素代表一个单词及其计数。在这种方法下，每段文本都被表示为一个向量，代表文本中的每个单词及其计数。例如，短语“cashflowsfromoperations”和“cashflowsfrominvesting”可以分别表示为向量u和v，如下表所示：

;?;将文本转化成数字表达，涉及两个步骤：第一，从文本中提取单词；第二，将单词计数表示为数值向量。我们使用NLTK库从文本中提取单词，并使用Scikit-learn库将单词列表转换为向量。

;（1）准备库和函数。准备好相关的库和函数，以便调用。

importnltk

#导入标点符号

fromstringimportpunctuation

?

#这里我们把标点符号和一些特殊符号都加进去

punctuation_added=punctuation+’+‘+—

print(punctua