CN107193867-CN201710228064-基于大数据的热点话题分析方法.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 107193867 A (43)申请公布日 2017.09.22 (21)申请号 201710228064.0 (22)申请日 2017.04.07 (71)申请人 广东精点数据科技股份有限公司 地址 510630 广东省广州市天河北路906高 科大厦A-701 (72)发明人 陈乐焱　许飞月　陶波　 (74)专利代理机构 重庆强大凯创专利代理事务 所(普通合伙) 50217 代理人 隋金艳　陈家辉 (51)Int.Cl. G06F 17/30(2006.01) G06K 9/62(2006.01) 权利要求书1页 说明书4页 附图2页 (54)发明名称 基于大数据的热点话题分析方法 (57)摘要 本申请公开了基于大数据的热点话题分析 方法，包括以下步骤:步骤一：热点话题数据收 集；步骤二：热点话题数据预处理；利用Canopy算 法计算得到各个热点话题数据的关键项的初始 中心个数K；步骤四：利用K-means算法对数据进 行聚类分析，最终聚类结果所得到的类即确定为 话题；步骤五：对步骤四中分好的各类话题进行 话题热度分析；话题热度的主要参考指标为报道 频率、报道持续天数、搜索量、点击量、评论量以 及点赞量。本申请能够快速进行话题热度分析。 A 7 6 8 3 9 1 7 0 1 N C CN 107193867 A 权　利　要　求　书 1/1页 1.基于大数据的热点话题分析方法，其特征在于：包括以下步骤: 步骤一：热点话题数据收集； 步骤二：热点话题数据预处理：对步骤一所收集的数据进行干扰信息排出，提取文本数 据中的关键项；每一个关键项对应一个用来表示在文档中作用程度的质量值Q： 其中，N表示文档的总数，f 表示文档的关键项在文档n中出现的次数，l表示关键内容的 n 长度； 设定一个标准值Q ,当Q＞Q 时，该关键项保留，当Q＜Q时，该关键项删除； s s s 步骤三：利用Canopy算法计算得到各个热点话题数据的关键项的初始中心个数K； 步骤四：利用K-means算法对数据进行聚类分析，最终聚类结果所得到的类即确定为话 题； 步骤五：对步骤四中分好的各类话题进行话题热度分析；话题热度的主要参考指标为 报道频率、报道持续天数、搜索量、点击量、评论量以及点赞量；话题热度计算公式可以表示 为： H＝a ·H +a ·H +a ·H +a ·H +a ·H +a ·H 1 1 2 2 3 3 4 4 5 5 6 6 H表示话题的热度，H 代表话题的报道频率，H 代表话题的报道天数，H 代表话题的搜索 1 2 3 量，H 代表话题的点击量，H 代表话题的评论量，H 则代表话题的点赞数，a ～a 则分别代表 4 5 6 1 6 各个参考指标在话题热度分析中所占的比重系数。 2.根据权利要求1所述的基于大数据的热点话题分析方法，其特征在于：步骤一中对热 点话题数据的抽取是基于分布式云计算平台通过网络爬虫来实现的，对收集的数