2019年人工智能-AI-文本分类.pdfVIP

文本分类 胡佳妮 提纲 文本分类概述 特征提取 主要分类算法 Rocchio 法 贝叶斯 K近邻 决策树 文本分类概述 分类的概念 给定: 一个实例的描述, x ∈X, X是实例空间 一个固定的文本分类体系: C={c , c ,…c } 1 2 n 由于类别是事先定义好的，因此分类是有指 导的（或者说是有监督的） 确定: 实例x 的类别 c(x)∈C, c(x) 是一个分类函 数，定义域是 X ，值域是C 说明 分类模式 2类问题，属于或不属于(binary) 多类问题，多个类别(multi-class)，可拆分成2 类问题 一个文本可以属于多类(multi-label) 分类体系一般人工构造 政治、体育、军事 中美关系、恐怖事件 很多分类体系: Reuters分类体系、中图分类 中图分类法 A类 马列主义、毛泽东思想 TB类 一般工业技术 B类 哲学 TD类 矿业工程 C类 社会科学总论 TE类 石油、天然气工业 D类 政治、法律 TF类 冶金工业 E类 军事 TG类 金属学、金属工艺 F类 经济 TH类 机械、仪表工艺 G类 文化、科学、教育、体育 TJ类 武器工业 H类 语言、文字 TK类 动力工业 I类 文学 TL类 原子能技术 J类 艺术 TM类 电工技术 K类 历史、地理 TN类 无线电电子学、电信技术 N类 自然科学总论 TP类 自动化技术、计算技术 O类 数理科学和化学 TQ类 化学工业 P类 天文学、地球科学 TS类 轻工业、手工业 Q类 生物科学 TU类 建筑科学 R类 医药、卫生 TV类 水利工程 S类 农业科学 U类 交通运输 V类 航空、航天 X类 环境科学、劳动保护科学（安全科学） 系统结构 训练数据 预处理 标注工具 文本 模型数据 机器学习工具 标注的样本 机器学习工具 新数据 预处理 分类工具 类别 分类工具 文本 分类的一般过程 收集训练集和测试集，对文本进行预处 理 对文本类别进行人工标注 对文本进行特征提取 训练（学习） 评