基于微粒群和遗传优化的文本过滤关键技术研究-管理科学与工程专业论文.docxVIP

独 创 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得 （注：如没有其他需要特别声明的，本 栏可空）或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 学 位 论 文 版 权 使 用 授 权 书 本学位论文作者完全了解 学校 有关保留、使用学位论文的规定，有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权 学校 可 以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等 复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书） 学位论文作者签名： 导师签字： 签字日期：2012 年 月 日 签字日期：2012 年 月 日 山东师 山东师范大学博士学位论文 I I 目 录 摘 要 I ABSTRACT III 第 1 章 绪论 1 1.1 研究背景及意义 1 1.1.1 互联网规模的扩大 1 1.1.2 互联网迅速发展带来负面影响 2 1.1.3 信息过滤研究的意义 2 1.2 文本信息过滤关键技术概述 4 1.2.1 数据包捕获技术 4 1.2.2 文本切词技术 4 1.2.3 特征权重计算和特征选择 6 1.2.4 文本表示模型 6 1.2.5 文本分类 8 1.3 文本信息过滤面临的问题 10 1.3.1 国外相关研究 10 1.3.2 国内研究进展 11 1.3.3 目前研究存在的问题 12 1.4 研究内容及贡献 13 1.4.1 研究环境 13 1.4.2 研究内容 13 1.4.3 本文贡献 15 1.5 论文组织结构 15 第 2 章 融合段落特性的文档权重计算方法 17 2.1 引言 17 2.2 预备知识 18 2.2.1 常用权重计算方法 18 2.2.2 常用性能比较和分析 19 2.3 融合段落特征的文本权重计算方法 20 2.3.1 文档形式化表示 20 2.3.2 文档权重的计算 20 2.3.3 重要句子的权重计算 21 2.3.4 特征项的位置权重 21 2.3.5 文档中特征项的权重确定 22 2.4 实验分析 23 2.4.1 实验语料 23 2.4.2 实验环境 23 2.4.3 评价指标 23 2.4.4 评价方案 24 2.4.5 评价与结果分析 25 2.5 小结 27 第 3 章 基于模糊遗传算法的文本信息过滤模板生成方法 29 3.1 引言 29 3.2 理论可行性分析 29 3.2.1 问题表达 30 3.2.2 集合论中几个重要概念 30 3.2.3 收敛性假设 31 3.2.4 问题收敛性分析 31 3.3 过滤方法实现 32 3.3.1 问题描述 32 3.3.2 问题编码和解码 32 3.3.3 种群规模控制 34 3.3.4 适应度函数选择 35 3.3.5 遗传参数的自适应调整 35 3.4 实验分析 36 3.4.1 训练集 36 3.4.2 测试集 37 3.4.3 开发和运行环境 37 3.4.4 评价指标 37 3.4.5 文本分类实验 38 3.5 小结 39 第 4 章 基于概念的逻辑段落匹配方法 41 4.1 引言 41 4.2 预备知识 41 4.3 基于概念的逻辑段落划分方法 42 4.3.1 文档预处理 42 4.3.2 概念变换 43 4.3.3 词义消歧 43 4.3.4 应用特征词的层次聚类方法 43 4.3.5 逻辑段落概念词语的单一性 44 4.3.6 文本分类的段落化匹配 45 4.3.7 基于概念的概念扩充和关联词语扩充 45 4.4 段落化匹配的实现 46 4.5 实验与分析 47