自然语言理解-词法分析探究.ppt

词法分析 语言根据词的形态结构分类 分析型语言 没有专门表示语法意义的附加成分 汉语，藏语 黏着型语言 词内有专门表示语法意义的附加成分 芬兰语，日语 曲折性语言 用词的形态变化表示语法关系 英语，德语，法语 什么是词？ 词是语言中最小的能独立运用的单位，是信息处理的基本单位。 界定词的困难所在 单字词与语素之间的划界 词与短语之间的划界 汉语自动分词 把没有明显分界标志的字串自动切分为词串 汉语词法分析所面临的问题 分词词表 重叠词、词缀 分词和理解，孰先孰后？ 歧义切分字段 专有名词的识别 汉语双字形容词的重叠形式 汉语单字形容词的重叠形式 汉语双字动词的重叠形式 汉语单字动词的重叠形式 汉语其他词类的重叠形式 名词 哥哥，人人 山山水水，是是非非，方方面面，头头脑脑 数词 一一做了回答，两两结伴而来 量词 个个都是好样的，回回考满分 副词 常常，仅仅，的的确确 汉语重叠词的特点 汉语词能否重叠具有很强的个性特点 研究研究√ 工作工作× 有些词重叠后词性发生了变化 形容词重叠后一般成为状态词 个别量词重叠后可以成为其他词性 回回：副词 个个：名词 汉语词缀 前缀 老鹰、老虎、老三、老王 超豪华、超标准、超高速 非党员 后缀 骨头、砖头、甜头、苦头、盼头、想头 桌子、椅子、孩子、票子、房子 文学家、指挥家、艺术家 科学性、可能性、学术性 碗儿、花儿、玩儿、份儿、片儿