自然语言处理导论课程讲义选编.PDFVIP

自然语言处理导论课程讲义 第二讲 中文文本的自动分词 詹卫东 /alcourse/nlp 提纲 1. 从字符串到词串 2. 文本分词面对的问题 3. 文本分词的基本方法 4. 对文本分词质量的评价 5. 小结 2 1 从字符串到词串 学生人数多又能保证质量的才是好学校。 字符串 学生 人数 多 又 能 保证 质量 的 才 是 好 学校 。 词串 Schools which can both enroll more students and ensure the quality of instruction are the successful ones. 关于中文分词的形式化定义，可参看马晏，1991，基于评价的汉语自动分词系统的研究与实 现，载黄昌宁、夏莹编《语言信息处理专论》，清华大学出版社1996年版 3 从字符串到词串（续） 1. Dog’s Let’s 2. ad hoc and so on New York 3. strong stronger strongest 4. buy bought buying 5. eat ate eaten 6. try tried tries 7. treat treatment 8. news newspaper 4 从字符串到词串（续） French：Paul ouvre le sac de pommes de terre et le pose sur la table. English：Paul opens the bag of potatoes and puts it on the table pommes de terre le sac the apple of earth le pose it potato Anne Abeillé, ed., 2003, Treebanks: Building and Using Parsed Corpora, Kluwer Academic Publishers. (Text, Speech and Language Technology Volume 20) Introduction 5 术语 Word Segmentation Word Tokenization Word Stemming/Lemmatization Tokenization ：把字符串变为词串 I’m a student - I ’m a student Lemmatization：对词进行内部结构和形式分析 took - take + ed (past tense) 将字符串转换到词串的意义 文本分词是各个层次的自然语言处理任务的基础 1. 简繁转换 Automatic Conversion between tra