信息检索课件精简版文本分类教学讲义.pptVIP

文本分类 给定分类体系，将文本分到某个或者某几个类别中。 分类体系一般人工构造 政治、体育、军事 中美关系、恐怖事件 这里讲的分类主要基于内容 其他分类:文体、态度、风格…… 人工方法 费时费力费钱 难以保证一致性 专家有时候凭空想象 自动方法 快速 一致性好 来源于真实文本，可信度高 自动文本分类的核心问题 文本分类与其它分类一样，其方法可以归结为根据待分类数据的某些特征来进行匹配 当然完全的匹配不太可能 必须根据某种评价标准选择最优的匹配结果 核心问题 用哪些特征表示文本才能准确、快速地分类 对特征的选择主导了不同的文本分分类方法流派 词匹配法、知识工程方法、统计学习法 词匹配法 词匹配法是最早被提出的分类算法 该方法仅根据文档中是否出现了与类名相同的词来判断文档是否属于某个类别 至多再加入同义词的处理 很显然，这种过于简单机械的方法无法带来良好的分类效果。 知识工程方法的缺陷 分类的质量严重 依赖于这些规则的好坏，也就是依赖于制定规则的“人”的好坏 制定规则的人都是专家级别，人力成本大幅上升常常令人难以承受 而知识工程最致命的弱 点是完全不具备可推广性 一个针对金融领域构建的分类系统，如果要扩充到医疗或社会保险等相关领域，则除了完全推倒重来以外没有其他办法，常常造成巨大的 知识和资金浪费。 统计学习法 后来人们意识到，究竟依据什么特征来判断文本应当隶属的类别这个问