基础教育搜引擎中的网页文档特征提取研究.pdfVIP

摘 要 Intemet的快速发展使得网络上基础教育资源数量快速增长，越来越多的人开始利用互 联网进行学习，搜索引擎已成为获取教育资源的一条重要渠道。为了向用户提供更有效的教 育信息，提高搜索的准确性，需要对海量的网页进行自动分类处理，而自动分类的前提又在 于网页的特征提取。本文围绕网页文档特征提取展开，对其中包含的若干关键问题进行了系 统研究。 前一部分简要介绍了本文的研究背景并对与特征提取相关的文档表示理论、自动分类技 术等进行了概述：后一部分重点研究了针对网页文档的特征提取方法：首先阐述了网页文档 标记预处理及中文分词的方法，接着构建了一个基础教育文档集，并在此基础上对特征提取 所包含的特征选择和权重计算两部分做了重点探索，其中，特征选择部分比较研究了文档频 率、信息增益、期望交叉熵、互信息、Z统计、文本证据权等算法，在分析实验结果的基 础上提出了增加词频因子尸f一的改进型互信息算法，实验证明，改进型互信息算法要明显 优于原来的互信息算法；权重计算部分比较研究了TFIDF以及其他六种基于熵函数的算法， 得出了在基础教育资源分类体系下，TFIDF算法要优于其他算法的结论，晟后本文还设计开 发了一个包含上述特征选择和权重计算算法的网页特征提取系统，并投入到了基础教育搜索 引擎的实际应用中。 关键词：基础教育资源搜索引擎，特征选择，改进型互信息，权重计算 lII Abstract Thefast ofInternetincreases thenumberofbasiceducational development significantly resourcesinwebs．Moreandmore are Internetto andsearch has been peopleusing study engine a rolein educationalresourcesAutomaticof numberof playingpivotal acquiring sortinglarge in websisdesiredorderto userswithmoreeffectiveeducationaldataand provide increasing in restsonfeature precisesearch．Meanwhile，automaticsorting distillation．Thisarticleis to featuredistillationandseveral involvedare developedaccordingwebpage keyproblems discussed systemically． Moredetailsofthefirst areaboutthe ofthe about part backgroundstudy,andsaysomething thecorrelativedocumentforthefeatureselectionofthe automateclassificationin theory,and thesecond moreattentiononthefeat