数据挖掘原理与应用——以石油勘探开发为例 课件 8.3 TF-IDF 修改权重.pptxVIP

8.3TF-IDF修改权重

TF-IDF修改权重什么是TF-IDF在LSA算法中，Term-DocumentMatrix一般会进行加权调整其中稀少词的权重会大于一般性的单词TF-IDF是最常用的度量指标(TermFrequency-InverseDocumentFrequency)TF：一个文档里出现的高频词更能代表该文档IDF：term在多个文档里出现，就不能成为该文档的独有特征

TF-IDF修改权重如何计算TF-IDF?????,??表示索引词??在文档??中出现的次数，因此分母表示所有索引词在文档中出现的次数之和。?分子|??|表示文档的数量，分母表示索引词??出现的文档数量。?

TF-IDF修改权重实例?其中????,??表示索引词??在文档??中出现的次数，因此分母表示所有索引词在文档中出现的次数之和。

TF-IDF修改权重实例?其中分子|??|表示文档的数量，分母表示索引词??出现的文档数量。

TF-IDF修改权重实例?

TF-IDF修改权重结论从公式得知，单词的词频越高，且包含该单词的文章越少，则相应的TF-IDF值越大。???