最新XX公司精品培训——XX搜索网站分词原理 (1).pptVIP

* 结 论 分词技术分析 百度分词采取了至少两个词典，一个是普通词典，一个是 专用词典(人名、书名、地名、影视剧名等)。而且是专用 词典先切分，然后将剩余的片断交由普通词典来切分。 古巴比伦常 正向最大匹配：古巴比伦/常 反向最大匹配：古巴/比/伦常 百度输出结果： 古巴比伦/常 如果正向和反向结果不一致百度采取最短路径方法 * 分词技术分析 首先查询专用词典(人名，部分地名等)，将专有名称切出， 剩下的部分采取双向分词策略，如果两者切分结果相同， 说明没有歧义，直接输出分词结果。如果不一致，则输出 最短路径的那个结果，如果最短路径长度相同，则选择单字 词少的那一组切分结果。如果单字也相同，则选择正向分词 结果 * 分词技术分析 用专用词典切出专有名词 剩下部分进行双向分词 如果单字也相同 取正向匹配结果 如果最短路径相同 取单字词少的那一组切分结果 如果不同，取最短路径结果 如果相同，说明没有歧义 输出结果 * Part 5 【常见切词效果】 『 应用举证 』　 * 应用举证 【常见切词效果】 白癜风 上海 白癜风 治疗中心 治疗 白癜风 最好的 医院-上海武警总队医院 A、白癜风 B、上海白癜风 C、上海白癜风治疗 D、上海白癜风治疗中心 E、治疗白癜风最好的医院 F、上海治疗白癜风最好的医院 G、上海白癜风治疗医院 H、上海白癜风医院 * 上海皮肤病医院_长宁区白癜风_闵