（共15页PPT）jieba鍒嗚瘝鍘熺悊瑙ｆ瀽.pptxVIP

基于词表和HMM的中文分词jieba分词原理解析

AI

贪心学院

中文分词的基本问题

分词规范问题

“词是什么”及“什么是词”，单字词与词素之间的划界，词与短语（词组）的划界

对汉语“词”的认识，不同人之间有较大的差异

歧义切分问题

AJB交集型切分歧义，AJ，JB同时为词。

如“大学生”，“从小学起”，“结合成分子”

AB组合型切分歧义，A，B，AB同时为词。

如“起身”，a）他站|起|身|来。b）他明天|起身|去北京

未登录词问题

新出现的普通词汇，如“特没谱”，“九九六”

专有名词，也叫命名实体，包括人名，地名，组织机构名，时间和数字表达

如：2012|年|2|月|9|日|上午|瓦尔特|.|菲利普|蒋|胜利|研究员|在|某省市|海淀区|中关村|东路|95|号|中国科学院自动化研究所|分别|做|了|关于|指纹|和|虹膜|识别|的|学术报告

专业名词和特定领域名称，如“三聚氰胺”，“堰塞湖”

中文分词方法

基于词表匹配的方法

最大长度匹配（前向匹配，后向匹配）

双向匹配

逐词扫描

基于统计模型（HMM和n元语法）的分词方法

规则方法与统计方法相结合

jieba分词简介

源码下载的github/fxsjy/jieba

支持三种分词模式

精确模式：将句子最精确的分开，适合文本分析

全模式：句子中所有可以成词的词语