1种面向海量实时数据信息检索算法.pdfVIP

一种面向海量实时数据的信息检索算法 丁伟 林容容 倪良胜 南京东南大学计算机科学与工程系 一种面向海量实时数据的信息检索算法 主要内容： 背景 两段向量簇聚类算法 簇树构建中的属性参数 基于簇聚类的单链接算法 算法性能测试结果 一种面向海量实时数据的信息检索算法 网络信息资源的迅猛膨胀推进了信息检索技术的发展和 成熟，但将现有的技术应用于海量实时网络数据时，传 统的信息检索算法仍存在种种不足之处。 两段向量簇聚类信息检索算法 基于簇聚类树实现群发邮件甄别的应用 一种面向海量实时数据的信息检索算法 利用簇树组织文档 【3】 通过对文档的双字切词 处理得到词频向 量 【4】 【5】 以向量模型 描述文档、簇的空间位置 一种面向海量实时数据的信息检索算法 簇树相关概念定义： 第3层 簇根CR 文档簇 簇根 超簇SC 第2层 超簇 质心 第1层 文档簇DC 簇树 半径 第0层 文档 图 1 簇树的层次结构（H =3 ） C 一种面向海量实时数据的信息检索算法 传统的综合层次 聚类方法 【7】BIRCH 方法： 非自然聚类 原有文档 新加入文档 质心漂移 原簇质心 漂移后的质心 图2 质心漂移现象 一种面向海量实时数据的信息检索算法 吸收BIRCH聚类方法的优点，结合向量模型的特点， 本文提出两段向量簇聚类方法。 第一阶段，插入聚类—— 在高效收集文档的基础上 实现文档的初级聚类。 第二阶段，优化聚类—— 在遵循自然聚类的基础上 消除质心漂移现象，进一步优化聚类效果。 一种面向海量实时数据的信息检索算法 从CR 向下找到 相关文档 Y 将文档加入到相 和文档相关的 簇存在？ 关文档簇的第一 文档簇 个子节点 N 最低一层相关 簇为A 新建CR 的弟节 Y N 从A到文档簇层次 点A ；新建CR A=NULL 建立路径，并将 的父节点；该 ? 文档加入到A下的 节点调整为