文本特征提取技术.pdf

文 本 挖 掘 技 术 第二章： 文本特征提取技术 杨建武 北京大学计算机科学技术研究所 Email:yangjianwu@ 1 语言理解系统 面向不同应用 语篇结构/ 理解 有不同的形式 命题网络 语篇分析 语义结构 语义分析 句法及句法 功能结构 句法分析 … … 短语结构 短语分析 词性序列 词性标注 标准化词序列 词法分析/分词 句子序列 分句 一种 跨语言处理 另一种 语言 语言 自然形态 文本 2 分 词 3 分词实例 和平民主 和平、民主 和、平民、主 提高人民生活水平 提高、高人、人民、民生、生活、活 水、水平 大学生活象白纸 大学、生活、象、白纸 大学生、活象、白纸 4 分词基本方法 最大匹配法 最大概率法分词 最短路径分词方法 难点： 分词歧义 未登录词识别 5 最大匹配法 6 最大匹配法示例 S1=计算语言学课程是三个课时 设定最大词长 词语 分词词表 MaxLen = 5 … S2= 计算语言学 课程 课时 … 7 最大匹配法示例（续） （1）S2=“”；S1不为空，从S1左边取出候选子串 W=计算语言学； （2）查词表，“计算语言学”在词表中，将W加入到S2中， S2=“计算语言学/ ”，并将W从S1中去掉， 此时S1=课程是三个课时； （3）S1不为空，于是从S1左边取出候选子串W=课程是三个； （4）查