一种高效的文本区间热词查询算法-计算机工程.PDF

第 卷 第 期 计 算 机 工 程 年 月 先进计算与数据处理 文章编号 文献标志码 中图分类号 一种高效的文本区间热词查询算法 赵志洲路 畅何震瀛王晓阳 复旦大学 计算机科学技术学院上海 摘 要 文本区间热词查询是根据用户指定的查询时间范围从文本数据中提取热词 现有的热词提取算法主要 面向挖掘任务时间复杂度较高难以直接应用于热词的在线查询处理 为此提出一种文本区间热词的在线查询 处理算法 利用数据划分和范围查询技术在准确率和空间复杂度不变的条件下降低提取热词的时间复杂度 实 验结果表明与现有的面向挖掘算法相比该算法在和 个数据集涉及的整个时间范围上的运行时间 分别减少 和 有效提高热词在线查询的效率 关键词 热词时间复杂度在线查询数据划分范围查询 中文引用格式赵志洲路 畅何震瀛等一种高效的文本区间热词查询算法计算机工程 英文引用格式 法综合考虑词频和文档频率将更高的权 概述 重赋予出现在多个文档中的词 文献 下文称 互联网高速发展使人们获取海量信息变为可 算法在 方法的基础上考虑词频随时 能但随之带来一些新问题如 如何从海量 文 间的波动情况并重新定义词权重的计算方法 上 本信息中提取用户感兴趣的热门话题 述方法能够有效提取与话题相关的词即满足算法 为有效进行话题检测和跟踪 的有效性 文献 基于热度矩阵对微博热点话题 研究者开展 了大量研究工 进行检测 但是这些算法的一个特点是面向挖掘 任务时间复杂度较高因此难以直接应用于热词 作 其中从文本数据中提取热词成为当前研究的 热点问题之一 文献 提出 在线查询问题 用于词权重 为此本文对文本数据的区间热词在线查询问题 计算综合考虑词频和反文档频率弱化频 展开研究 热词的在线查询处理方法需要同时满足 繁出现在多个文档