第三章汉语的分词与频度统计.pptxVIP

关毅 guanyi@hit.edu.cn;1、汉语的分词 2、汉语词汇的频度统计;;世界语言分类;世界语言分类;什么是词;什么是词（续）;什么是分词;什么是分词;为什么分词;为什么分词;分词规范;分词规范内容实录;分词的主要难点-切分歧义;分词的主要难点-切分歧义;“真歧义”和“伪歧义”;如何排除切分歧义;如何排除切分歧义（续）;如何排除切分歧义（续）;如何排除切分歧义（续）;分词的主要难点-未登录词;分词的主要难点-未登录词;如何识别未登录词;主要的分词方法;主要的分词方法（续）;主要的分词方法（续）;主要的分词方法（续）;语料库;单语语料库;单语语料库;单语语料库;单语语料库;双语语料库;;汉语词的频度统计;示例：《现代汉语频率词典》;示例：《现代汉语频率词典》;汉语词的频度统计;LIVAC的构建;LIVAC目前规模;基于LIVAC研究;部分研究结果;部分研究结果;部分研究结果;汉语词的频度统计;村田忠禧的词语分布研究;村田忠禧的词语分布研究;村田忠禧的词语分布研究;村田忠禧的词语分布研究;村田忠禧的词语分布研究;村田忠禧的词语分布研究;红楼梦作者分析之定量研究;红楼梦作者分析之定量研究;红楼梦作者分析之定量研究;词频统计示例;《汤姆索耶历险记》词~词频表;《汤姆索耶历险记》词频~个数表;统计结果表明…;统计结果表明…;Zipf定律;Zipf曲线;Mandelbrot’s la