基于粗糙集理论的知识发现在web文本挖掘上的应用研究-控制理论与控制工程专业论文.docxVIP

基于粗糙集理论的知识发现在Web文本挖掘的应用研究 基于粗糙集理论的知识发现在Web文本挖掘的 应用研究 摘要 本文提出了一种基于粗糙集理论的web文本分类模型i (该模型从已分类的训练文本出发，建立一系列不同层次的文 本分类子系统，利用Rough Set理论有效处理不精确、不确 定、含糊信息的特性，对分类决策表进行属性约简，既有效 降低了web文本的维度，又保持关键词集合中的信息。最后， 推导出web文本分类的规则集。 ． 有别于传统的对关键字频度进行累加的方法，；7本文提出 了基于信息熵的文本关键词测度函数，通过对关键词函数值 进行比较，获取对文本分类最具影响性的关键词序列；同时， 针对Web上异质、非结构化信息的特点，该分类算法还考虑 了超文本标记对关键词权值的影响。 为获取本文项目实验材料，以配合I R(I nformat i oFi retri evaI)和I F(i nfo rmatI on fi lte r)做仿真实验，我们编 制了Web文本收集模型WebOrawl er，该模型利用目前较流行 的Hits算法解析网络链接结构，从l nternet上收集相关的 web文本。 基于对所获实验材料的web文本分类实验，本文实现了 相关的web文本挖掘算法．对提出的算法进行了实验分析。f从 实验结果看，基于粗糙集的web文本分类算法无论在分类精 度、分类效率，还是知识的新颖程度方面，都比以往分类算 法有明显提高；而且，这种技术是语言独立的一) 【关键字】 web文本挖掘，籼糙集理沦 信息熵 【论文类型】成川研究 苎王塑塑叁墨堡塑麴堡垄堡垒婴!!塞查笾塑圭盟蹩旦型塑——A 苎王塑塑叁墨堡塑麴堡垄堡垒婴!!塞查笾塑圭盟蹩旦型塑—— A RS．Based application research on web text mining ABSTRACT In this paper，a RS*based model，which starts up from trained documents for web documents classification，is introduced。Taking advantage of the RS theory’s features in efficient dealing with vague，indiscernible，and fuzzy information，we sets up a series of layered subsystems to reduce redundant properties from classification tables。In this way，we gaP,not only efficiently reduce the dimension of documents but also keep the information of keywords set． As a result，rules for web documents classification are produced。 With difference from the way that traditional methods perform by accumulating the frequency of keywords．We propose a new metrical function that employs the RS—based entropy by comparing function values to measure the feature of web pages．Besides，according to the unstructured and hete rogenous characteristics of www，the effect of hypertext tags to keywords’weigh has been taken into account to obtain the most effective keywords for document classification． In order{0 gather experiment materials and meet the need of combining Information retrieval experiments with Information filter experiments，we equally developed WEBCRAWLER for collecting web documents，an engine model w