清华社课件人工智能基础及应用（Python微课版）第7.1 中文分词.pptx

;;特点;分词规范;歧义词切分;未登录词识别;常见中文分词方法;基于规则和词表方法;正向最大匹配法;“研究生命起源”

词典：研究、研究生、生命、起源

词典中最长词是“研究生”，其长度是3，从左到右开始取3个字符，

第一步：“研究生”属于词典，将“研究生”取出。

第二步：“命起源”，不在词典中，长度减一。

第三步：“命起”，也不在词典中，长度再减一。

第四步：“命”，为单字，因此单独取出。

第五步：剩下的“起源”，在词典中。

因此，分词结果为?研究生\\命\\起源。;基于统计方法;Jieba分词库; jieba库支持如下三种分词模式：

精确模式，试图将句子最精确地切开，适合文本分析