基于k-近邻方法的渐进式中文文本分类技术.pdfVIP

华南理工大学学损(自然科学版) 第32卷增刊 JournalofSouth China of UniversityTechnology V01．32 Suppl 2004年11月 Science (Natural Edition) N。vember 2004 基于k一近邻方法的渐进式中文文本分类技术 囊 方1 杨柳2 张红霞3 (1东北大学信息科学与工程学院，辽宁沈阳110004；2河北大学数学与计算机学院，河北保定071002 3．保定金融高等专科学校计算机系，河北保定071000) 摘要：针对k一近邻方法分类准确率较高、但分类效率较低的特性，提出了一种基于t一 近郐方法的澌进式中文丈本分类技术，利用文本的标题、摘要、关键词、重点段落进行渐进式 的分类处理．这样，不用分析全文就能将部分待分类文本成功分类．从而提高了文本分类的 效率．实验结果表明，该方法在保证分类准确率的基础上能够有敖地提高分类效率． 关键词：≈一近邻方法；渐进式方法；中文文本分类 中图分类号：TP391 文献标识码：A 互联网的出现为人们搜索信息提供了一种新的 法和支持向量机方法等．在这些方法中，^一近邻方 手段．但随着互联网的快速发展和网上信息(包括 法具有较高的分类准确率，实现起来也比较简单，但 中文信息)的急剧增加，与用户要求不大相关的信 分类效率有待提高。本文提出的渐进式思想就是用 息大量涌现，甚至掩盖了有用信息的搜索．解决这个 于提高女一近邻方法k-NN的分类效率． 同题的一种有效方法就是提供个性化信息搜索服 1 系统结构框架 务，而文本分类是个性化服务的基础，所以文本分类 对于提高信息搜索的效率和质量意义重大． 文本分类是一种典型的有教师的机器学习问 文本分类是指根据预先定义好的主题类剐，把 题，由训练模块和分类模块构成．在训练模块中，首 每一个未知类别的文本确定一个类别．文本自动分 先对训练文本进行分词处理，然后对其进行特征项 类就是利用计算机系统对文本集按照一定的分类体 抽取，得到特征项集台．在分类模块中，用渐进式的 系或标准进行自动类别标记，分类工具根据文本的 方法，逐步将文本的不同区域(如标题、摘要、重点 信息将其分配到已经存在的某个类别中． 段落等)用特征子集表示出来，再经过k-NN分类器 文本分类方法可分为基于知识的方法和基于距 分类，从丽能够快速地找到泓试文本所属的类别．本 离的方法．基于知识的方法是指根据分类专家的经 文在参考已有分类模型…的基础上，提出如图】所 验知识，构建分类专家系统作为分类器进行分类由 示的分类模型． 于分类专家系统建造费时费力，而且可扩展性差，难 训练模块 分类模块 以适用于大规模的文本分类问题，目前普遍采用的 是基于距离的方法，即基于文本相似度的分类方法． 常用的基于距离的分类方法有朴素贝叶斯方法、决 策树方法、女一近邻方法、回归模型方法、神经网络方 收稿日期：2004一08—29 ·基金项目：}可北省自然科学基金资助项目(200400129) 作者简介：袁方0965一)，男，河北大