资讯热度统计数据模型.docxVIP

资讯热度统计数据模型方案

一、资讯热度

设某篇资讯热度值为R，评价指标i的分值为Ni，权重为Qi，对各评价指标以百分制评分，按加权评分法计算出资讯热度，即R=∑Ni*Qi；

资讯的特点：

1、来源于各网站，可能是一家或多家，各网站受众及影响度不同；

2、同一篇核心资讯，不管来自哪家媒体或网站，所属分类大体相同，但不同资讯间所属分类是重要区分点；（即所属分类，与来源关联度不大）

3、同一篇核心资讯，在不同的网站上，内容上可能有区别，如内容的原创性、内容完整性、内容披露的时间段等；

4、同一篇核心资讯，在不同的网站上，被放置的栏目可能会不同，代表各网站对该资讯的重视度；

5、同一篇核心资讯，在不同的网站上，被关注的程度不同，表现为跟帖量、推荐数、转载量等指标；（跟帖量、推荐数见网易新闻）

综上，影响资讯热度的评价指标有，资讯来源（a1）、资讯分类/业务重要性（a2）、内容质量（a3）、来源关注度（a4）、市场关注度（a5）；后4项是对资讯本身评分，第一项实质是资讯来源评分。

资讯热度的计算，最终是基于排重后的核心资讯来计算，每一篇核心资讯对应一篇或多篇原始资讯，每篇原始资讯有以上除a1外的其余4类评价指标，因此，设一篇核心资讯Z，对应的原始资讯有m篇，分别为Z1,Z2,...,Zm，对每篇原始资讯，按最上方的R值计算方法计算其热度，最后计算∑Ri*a1i即为该核心资讯的热度。

需注意的地方：

1、以上5个评价指标中，a1、a2较为固定可事先确定，a3、a4、a5各自可能涉及到不同的指标，可参考同样的方法得出最终分值。

2、为保证不同核心资讯间分值的可对比性，需保持评价标准的一致，如同一计算公式中，指标分值制要一致，统一采取十分制或百分制；同一计算公式中，指标权重加总为100%。

3、从应用的角度，一篇核心资讯的热度，有两个主要的评价主体，披露方和资讯阅读者，披露方的因素可细分为披露方本身评分、披露方细分栏目评分；资讯阅读者的因素可细分为评论数、装载量、跟帖量、推荐数等因素；其中，披露方本身评分是一篇核心资讯各原始资讯的权重划分指标，披露方细分栏目评分、资讯阅读者各项评分是该核心资讯各原始资讯的细分指标。

4、以上提到的其他指标，可供参考实际意义有限，应分配较低的权重。

二、概念热度

基于TF/IDF算法来计算概念热度，TF/IDF算法记录的是单个词语与单个文件之间的关联度。一个概念可根据关键词、概念定义等因素，划分为多个相关分词，由这些相关分词的TF/IDF值结合计算出概念的TF/IDF值。

（一）概念的特点

一个概念的关键因素，包含相关别名及关键词（记为Ci）、概念相关事件描述（记为Si）、概念定义描述（记为Mi），三者的热度对概念的热度影响程度不同，可理解为权重不同，一般来说，CiMiSi；

将一个概念的上述三个影响因素，拆分出对应的分词列表，基于各分词在全库热度，计算该概念的热度值；

不同概念间，所拆分出的分词，必定存在重叠的情况，且重叠的分词其热度值也必定相同；

概念、分词、资讯文件、资讯库之间的关系为，一个概念可拆分为多个权重不同的分词，一个分词存在于多个热度不同的资讯文件中，资讯库包含所有的资讯文件；

概念的热度，以相关联的资讯热度体现出来，所以本算法的核心思想是，基于某概念相关联的资讯热度及该概念与资讯之间的相关度，计算出概念的热度。

2.2概念热度的计算

设概念热度为G，三类分词在资讯库的热度分别为C、S、M，三类分词的权重分别为Qc、Qs、Qm；概念热度计算公式为，G=∑Ci*Qci+∑Si*Qsi+∑Mi*Qmi。

各分词在资讯库中的热度（C、S、M）算法相同，先计算某分词在各资讯中的TF/IDF值，记为Ti，Ti=(该词在该资讯中出现的次数a/该资讯中最大的词语出现次数b)*log(出现该词的文件数m/资讯库中总文件数n)，该分词在整个文件库中的热度如Ci=∑Ti*Ri/∑Ri（Ri为该资讯的热度）。

需要注意的地方，不同的概念拆分出相同的分词，该分词基于全资讯库的热度值相等，与所属概念关系不大，所以分两步进行，所有概念拆分出的分词，形成分词列表，记录概念分词关系及权重，再针对分词计算分词热度，可避免重复计算分词热度。

三、个股概念相关度

个股概念相关度的计算思路，类似于概念资讯相关度的计算思路，见上文，不同之处在于，个股与概念之间的关联因素，不仅包括定性因素，还包括一些定量因素，需要将两者结合起来。

（一）可能影响个股投资行情的信息有：

1、公司所处行业、地域，见“公司基本信息表”。

2、公司主营业务及其地域、行业分布，见“公