网页分类及其维文信息检索中的应用研究.docVIP

网页分类及其维文信息检索中的应用研究 　　摘要：研究维文信息检索中网页分类问题。在维文信息预处理，文档特征词组抽取和信息检索模型的建立等方面做了一些探讨。提出一种引入网页分类和词组抽取技术的信息检索方法。采用了基于KNN的网页分类方法，此方法符合维文语言特点，能够提高信息检索系统的查询准确率，使得返回结果更符合用户检索需求。 　　关键词：维文网页；网页预处理；网页分类 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)01-0192-02 　　The Research of Automated Text classification in the Uyghur Information Retrieval 　　Helqem. aisa, Winira. musajan 　　(College of Information Science and Technology, Xinjiang University, Wulumuqi 830046, China) 　　Abstract: This paper studies the problems of Uyghur Information Retrieval automated text classification. We probe into the pre-process of Uyghur information, the extract of character phrases of documents and the establishment of information retrieval model. Web text classification algorithm based on KNN method presented. The experiments has proved that the design of the system accords with the language characteristic of Uyghur and improves the query precision in Uyghur information retrieval system, so the returned query results can best meet the users needs. 　　Key words: Uyghur web; web pre-process; text classification 　　随着在计算机上处理新疆少数民族文字问题技术的发展，以维文网页新疆少数民族文字为主的，民族文字网站逐渐建立。这些网站都提供了BBS功能，音乐服务，新闻，咨询和电子商务等丰富的内容，种类繁多的信息日益增多。如何在海量，无序，但同时蕴含着巨大潜在价值的信息中挖掘出有用的知识已经成为我们关注的主要问题之一。而对维文网页进行分类预处理，可在一定程度上解决网络上信息的杂乱现象，方便用户准确地获取所需的信息。网页分类的目标是在分析网页内容的基础上，按照预先定义的主题类别，给网页一个或若干个合适的类别[1]。本文在结合维文网页结构信息的基础上，合理的方法选取及表示网页的特征，并对真实文本进行了分类测试。 　　1 维文网页预处理 　　维文网页进行分类之前，首先需要对网页进行预处理，抽取分类特征。预处理的步骤为： 　　1) 网页预处理:统计226个维文网站中，使用非标准的字库制作的网站数目为61个，占总网站数目的25%左右，为了搜集数据的完整性和统一性，这些非标准网页的编码转换成统一的Unicode编码。而且Internet上的大部分网页是HTML文档或XML文档，提取网页的内容，去掉与文本内容无关的标记，例如,HTML中的Tag，去除停用词、维吾尔语中的停用词（stop words）比较多，本文统计并收集了大部分维吾尔文停用词，建立一个停用词库，根据这个库可以过滤掉停用词。然后转换成统一格式的Text文本存放在文件夹中以备后续处理。 　　2) 文本分词：维吾尔语是一种黏着性语言，在这一类语言中词(word)是最小的独立运用的语言单位[2]，维吾尔文句子是由单词和单词组成,单词间以空格分开,从右向左书写，所以分词方法跟英文一样用空格来分开。 　　3) 特征抽取： 训练文本和待分类文本经过分词并去除停用词后，表示文本的向量空间和类别向量的维数也是相当大的，因此需要进行特征项的抽取。特征提取是文本分类系统中十分关键的问题，它可降低向量空间的维数，本文中采用了向量空间模型作为文本的表示方式，基于统计的文本分类方法作为特征提取的实现策略。对样本文本进行分析，统计其关键词，在此基础上建立关键词词典，根据关键词在文