决策树ID3分类算法在文本分类中的应用研究.pdfVIP

68 大 连 决策树 ID3分类算法在文本分类中的应用研究 大 学 李 楠 ，杨彬彬 荔 (辽宁师范大学 计算机与信息技术学院，辽宁 大连 116029) o 0 摘 要：文本分类在 自然语言分类中起着重要作用，将决策树 ID3算法应用与文本分类，对数字图书馆的 九 正 部分文本信息分类 ，提 出一个基于 ID3决策树的文本分类算法，取得 了良好的实验结果。 第 关键词：文本分类；决策树 ；ID3算法；信息检索 期 中图分类号：TP311 文献标识码 ：A 文章编号：1008—2395(2009)06—0068—04 收稿 日期 ：2009—08—07 基金项目：国家 自然科学基金 作者简介：李楠 (1977一)，女，讲师，Email：linan@lnnu．edu．(311 l 引言 仅与 内容检索和个性化服务密切相关，它本身 分类作为人类认识世界的一种重要认知手 也是数字图书馆核心技术领域的主要研究内容 段 已经存在很长时间。计算机的问世与普及使 之一，同时在信息过滤、自然语言处理和文本分 用，使得分类成为计算机及相关领域的研究重 析中也有广泛应用 。 点，特别是互联 网出现以后 ，在线文本文档剧 将经典的ID3决策树算法应用于图书馆信 增，文本的分类就成为广泛关注和研究的关键 息的文本分类 ，优点是基于统计 的方法 ，从书名 技术之一 。 样本库或真实文本语料库中得的关于图书用字 文本分类的一个重要应用领域是数字图书 概率与名字用字概率等大量的统计数据信息进 馆。互联网上海量在线文本信息使得数字图书 行识别。利用规则机制对其进行校正过滤。实 馆关键核心技术之一的文本分类成为一个 日益 验中引用的图书馆管理系统是在 VB环境下， 重要的研究领域。文本分类技术是人工智能和 使用 SQL语句和ADO控件实现的管理系统。 信息获取技术的结合，是基于内容的自动信息 2 决策树 ID3算法 管理的核心技术。从海量的信息中快速、准确 决策树，形状像树且能用于决策，在对数据 地找到用户感兴趣的内容是基于人工智能技术 进行决策分类时利用树的结构将数据记录进行 的第三代搜索引擎的目标，文本分类是其中的 分类 。一个决策树 由一系列节点和分支组成， 一 项关键技术 。文本分类不仅可用于搜索引 节点和子节点之间形成分支，节点代表着决策 擎，也是电子邮件过滤 、国家机密信息隔离 、快 过程中所考虑的属性，并根据属性的不同取值 速资料分检 、信息资料推送等网络技术的核心 建立决策树的各个分支；随后递归的构造每个 内容，正受到广泛的关注。因此，文本分类 已经 子节点的子树。为了利用决策树对某一事例做 成为一项具有巨大实用价值的关键技术，是组 出决策，可以利用这一事例的属性值并由树根 织和管理海量数据的有力手段内容检索与个性 向下搜索直至叶节点，叶节点上即包含着决策 化服务是数字图书馆 的核心业务之一。内容检 结果。由于决策树结构简单便于人们认识理解 索提供 了 “人找信息”的服务，而个性化服务提 以及决策树不需要额外的数据训练，因此决策 供了 “信息找人 ”的功能。分类技术为这方