改进的tfi-idf方法.pptVIP

改进的tfi-idf方法 1 #号标签 文本的内容中是否有词出现在标签上 2 url对应的主题 文本中的词是否出现在url对应的主题上 3词长 词含有的字数越长那么这个词含有的信息量就越大 4词频 词出现的次数越多那么词的频率就越大那么这个词在本条微博中的权重也应越大 5词性 名词动词等词我们认为更能成为主题词，这种词的权重应当大 6微博的流行度 微博 的流行度越高（转发 评论 赞数 越多）那么我们认为组成微博的词的流行度也应当很高 关于流行相似度的计算 微博 转发 赞 评论 1 80 10 6 2 50 1 6 3 90 6 4 4 40 5 7 5 10 1 2 . . . 其中res为转帖，com为评论，atti为赞数，count为三者之和。α、β、γ为可变系数，起平衡每个权重因子的作用。通过分析以上三者对流行度的影响力以及反复地实验，设定α为0.5，β为0.3，γ为0.2时，得出的特征值最能反应一条微博的受关注程度。 自己的想法 让转发数和赞数和评论数同时除以三者之和。个人认为不太好。因为如果一条微博的转发数特别的小而评论数和赞数特别的多。分布不均匀的时候就会出问题。 自己的做法： 1首先规格化： 微博 转发 赞 评论 1 0.89 1 0.86 2 0.56 0.1 0.86 3 1 0.6 0.57 4 0.44 0. 5 1 5 0.11 0.1 0.67 微博 转发 赞 评论 1 80 10 6 2 50 1 6 3 90 6 4 4 40 5 7 5 10 1 2 2.计算相似度： 2.1用夹角余弦法进行计算 微博 转发 赞 评论 1 α0.89 β 1 γ0.86 2 α0.56 β0.1 γ0.86 3 α1 β 0.6 γ0.57 4 α0.44 β0. 5 γ1 5 α0.11 β 0.1 0.67 α、β、γ为可变系数 之和为1. idf 的改进 信息熵的概念 ： 一个个人微博集合中分为相互独立的n个微博（d1 d2.。。。dn），包含词ti（分词后的词）的概率分布为（m1/M，m2/m。。。。。，,mn/M）其中M为个人微博中含有词ti的总数mi为文档di包含词ti的数量。 1.文本相似度 2.主题相似度 3.url相似度 4.时间相似度