01_文本分析挖掘实训平台04_智慧语义算法感知.pptxVIP

文本分析挖掘实训平台;;教学互动;基于字符串匹配的方法;按照一定的策略将待分析的字符串与一个“充分大的”机器词典中的词条进行匹配。 方法的三个要素 分词词典 文本扫描顺序： 正向扫描、逆向扫描、双向扫描 匹配原则： 最大匹配、逐词匹配、最佳匹配 ; 基本思想 把句子从左向右（或从右向左）遍历一遍，遇到词典里包含的最长的词就标识出来。 假设分词词典中的最长词条所含汉字的个数为n，将待分词文本的前n个字符作为匹配字段，查找分词词典，若词典中有这样一个n字词，则将匹配字段作为一个词被切分出来。若词典中找不到这样的一个n字词，则将匹配字段去掉一个汉字，剩下的字符作为新的匹配字段，再进行匹配，如此进行下去，直到匹配成功为止。 ;最大匹配法;分词词典 [ “研究”, “研究生”, “生命”, “命”, “的”, “起源” ];分词词典 [“内塔尼亚胡”, “内塔尼亚”, “胡说”, “说”, “的”, “的确”, “确实”, “实在”, “在理”];匹配策略;优缺点;基于语法和规则的分词方法;基于统计的分词方法（无词典分词法）;N-gram 模型 （N元模型）;N-gram 模型 – 马尔可夫假设;状态转移概率;黄;黄;分词模型训练语料标注方式;分词方法对比;常用分词工具;课堂测验;应用拓展