网页特征提取和聚类.pptVIP

网页特征提取和聚类 答辩人：刘辉 指导教师：李星教授 日期：2001.6.26 课题背景——网络信息发现的需要 我国网民总数2250万人 主要目的为获取信息的用户- 68.84% 搜索引擎使用率-66.6% 主要从中文网页获得信息的用户-77.5% 占世界1/4的人口vs占3.8%的中文网页 课题背景——指南针搜索引擎的需要 技术介绍——自动文本分类系统构成 技术介绍——特征选择 TF*IDF法 ( Term Freq*Inverse Doc Freq ) 信息增益法 ( IG: Information Gain )  技术介绍——主要机器学习算法 纯粹贝叶斯（Na?ve Bayes) 支持向量机 （Support Vector Machine) 技术介绍——其它算法 Rocchio法 k-近邻法（k-Nearest Neighbor，简称k-NN） 决策树（Decision Tree） 贝叶斯网络（Bayes Nets） 多元回归模型（Multivariate Regression Models） 神经网络（Neural Networks，简称NN） 休眠专家法（Sleeping Experts） 符号规则学习（Symbolic Rule Learning） 系统实现——设计思想 分类体系 基于统计的分类算法 动态更新（加入log分析和可控正反馈） 系统结构图 分类体系 分类算法 考虑因素 数学模型纯粹贝叶斯 （Na?ve Bayes)  优点：易于实现、运算快捷 预处理 文本格式化 文本切词 特征选择 待分类的单个文本 分类后的各类别集合 分类词典——建立和维护 初始化 动态更新 分类词典——结构 学习 Log分析 面向用户，与用户进行数据交互 Log提取的信息格式（自定义）查询词 点击数 返回结果数 用户URL 利用Analog分析软件实现http://www.statslab.cam.ac.uk/~sret1/analog/ 可控正反馈——思想 用户推荐机制 有可能出现突发性错误，需要加以控制 可控正反馈——删除算法 系统运行情况 系统运行情况 系统运行情况（查询结果对比） 系统运行情况 （查询结果对比) 系统对文本关键词的提取 系统数据分析 系统数据分析 系统数据分析 工作展望 加强中文自动分类的基础建设 实现自动更新分类结构 致谢 衷心感谢李星老师对我的悉心指导 衷心感谢李粤师姐对我无微不至的照顾和引导 衷心感谢谢冲锋、陈光英等师兄无私的帮助 感谢网络中心所有同学的支持和鼓励 讲完了，谢谢大家 欢迎提问！ * * 采集 网络侦听 Spider 查询 IPv4 用户 IPv6 用户 隧道 索引 分类 分类器 判决 结果 学习 分类器 预处理 特征选择 训练集 未知文本 训练过程 判决过程 下一页 文本集合 分类页面 预处理 分类词典 Log分析 可控正反馈 特征选择 训练集 学习 返回  返回 返回 返回 ? 类别1 类别2 类别3 …… 词语1 权重1 权重2 权重3 …… 词语2 权重1 权重2 权重3 …… …… …… …… …… …… 返回 返回 返回 点击数（权重为Q1） 已查询次数 （权重为Q2） 综合考虑：Q=a*Q1+b*Q2 (a=b=1) 返回 普通分类各类别文章数对照 学科分类各类别文章数对照 学科分类各类别查准率