分布式海量问题数据的相似性检索模型研究.pdf

目录 §3.2.2 数据存储需求 28 §3.2.3 相似性问题检索需求 29 §3.2.4 聚类分析需求 29 §3.3 检索模型Web 服务概述 30 §3.3.1 Web 系统架构 30 §3.3.2 Web 系统功能模块设计 31 §3.4 本章小结 32 第四章 分布式海量问题数据的相似性检索模型实现……………………………33 §4.1 模块总体架构和设计 33 §4.2 数据采集预处理模块实现 34 §4.2.1 数据采集模块 34 §4.2.2 数据预处理模块 36 §4.3 存储模块实现 37 §4.3.1 存储模块总体实现 37 §4.3.2 HBase 数据存储模块 37 §4.3.3 索引构建模块 39 §4.4 相似问题检索模块 40 §4.5 聚类分析实现 41 §4.5.1 预处理模块 42 §4.5.2 组块识别 43 §4.5.3 后缀树聚类模块 44 §4.6 本章小结 45 第五章 实验与数据分析……………………………………………………………46 §5.1 数据集与搜索评估指标 46 §5.1.1 实验数据集 46 §5.1.2 搜索评估指标 47 §5.2 Hadoop 集群环境搭建 47 §5.2.1 SSH 免密码通讯服务配置 48 §5.2.2 Hadoop 的文件配置 49 §5.2.3 Zookeper 的文件配置 51 §5.2.4 HBase 配置 51 §5.2.5 集群组件启动 52 §5.3 实验结果与分析 52 §5.3.1 数据解析与提取性能 53 V 万方数据 目录 §5.3.2 分词性能实验分析 54 §5.3.3 搜索性能分析 54 §5.3.4 聚类性能分析 55 §5.3.5 组块聚类实验分析 56 §5.3.6 运行实例图 57 §5.4 本章小结 60 第六章 总结与展望…………………………………………………………………61 §6.1 总结 61 §6.2 下一步工作展望 61 参考文献………………………………………………………………………………… 63 致谢……………………………………………………………………………………… 66 作者在攻读硕士期间主要研究成果…………………………………………………… 67 VI 万方数据