TextMining02-特征提取.pdf

文本挖掘技术(2012春) 第二章： 文本特征提取技术 杨建武 北京大学计算机科学技术研究所 Email:yangjw@ 1 主要内容  分词与词性标注  文档模型与相似度计算  布尔模型  向量空间模型  概率模型  统计语言模型(SLM)  特征变换  隐语义分析(LSA)  Dirichlet 2 分 词 3 语言理解系统 面向不同应用 理解 有不同的形式 语篇结构 语篇分析 语义结构 语义分析 句法结构 句法分析 „ „ 短语结构 短语分析 词性序列 词性标注 词序列 词法分析/分词 句子序列 分句 一种 跨语言处理 另一种 语言 语言 自然形态 文本 4 分词实例  和平民主 和平、民主 和、平民、主  提高人民生活水平 提高、高人、人民、民生、生活、活 水、水平  大学生活象白纸 大学、生活、象、白纸 大学生、活象、白纸 5 分词基本方法  基于词典的方法 最大匹配法 最大概率法 最短路径法 未登录词识别方法  基于标注的方法 6 最大匹配法 S1=―文本挖掘课程是三个课时” 分词词表 词语 … 设定最大词长 文本挖掘 MaxLen = 4 课程 S2= 课时 … 7 最大匹配法示例  （1）S2=―‖；S1不为空，从S1左边取出候选子串 W=― 文本挖掘；(MaxLen = 4)  （2 ）查词表，“文本挖掘”在词表中，将W加入到S2中，S2