- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
电子商务搜索引擎技术 搜索引擎的关键技术 中文分词 统计法:最大概率分词法 */30 有 意 见 分 岐 W1:有/意见/分歧 W2:有意/见/分歧 S:有意见分歧 分别计算:P(W1∣S)和P(W2∣S) 电子商务搜索引擎技术 搜索引擎的关键技术 中文分词 统计法:最大概率分词法 */30 有 意 见 分 岐 要计算P(W1∣S)和P(W2∣S),先计算: P(W∣S) P(W∣S)= P(S∣W)× P(W) P(S) 假设:每个词之间的概率是上下文无关的,则: ≈P(W) P(W∣S)= P(S∣W)× P(W) P(S) 电子商务搜索引擎技术 搜索引擎的关键技术 中文分词 统计法:最大概率分词法 */30 有 意 见 分 岐 P(W)=P(W1,W2,···,Wi) ≈ P(W1) × P(W2) ×··· × P(Wi) P(Wi)= Wi在语料库中出现的次数n 语料库中的总词数N 电子商务搜索引擎技术 搜索引擎的关键技术 中文分词 统计法:最大概率分词法 */30 有 意 见 分 岐 表:词语概率表 词语 概率 ··· ··· 有 0.0180 有意 0.0005 意见 0.0010 见 0.0002 分歧 0.0001 ··· ··· P(W1)= P(有) × P(意见) × P(分歧) =1.8 × 10-9 P(W2)= P(有意) × P(见) × P(分歧) =1.0 × 10-11 可得:P(W1) P(W2) 电子商务搜索引擎技术 中文分词 问题:比较计算出词与词之间组合的概率差异后,对于一个待分词的词串,如何尽快找到最佳的分词路径呢? */30 最佳(概率最大)分词路径 “左邻词”:对字串从左到右进行扫描,可以得到 W1, W2,…, Wi-1, Wi , … Wn;等若干候选词,如果Wi-1的尾字与Wi 的首字邻接,就称Wi-1为Wi 的左邻词。 “最佳左邻词”:如果某个候选词Wi有若干个左邻词Wj, Wk,…等 ,其中累计概率最大的候选词称为Wi的最佳左邻词。 有 意 见 分 岐 P’(Wi)= P’ (Wi-1) × P(Wi) 电子商务搜索引擎技术 中文分词 问题:根据以上数学原理,如何开发一个最大概率分词算法呢? */30 最大概率分词算法描述 STEP-1:对一个待分词的字串S,按照从左到右的顺序取出全部候选词W1, W2,…, Wi,… Wn; STEP-2:到词典中查出每个候选词的概率值P(Wi),并记录候选词的全部左邻词; STEP-3:按照 计算每个候选词的累积概率,同时比较得到每个候选词的最佳左邻词; STEP-4:如果当前词Wn是字串S的尾词,且累计概率;P’(Wn)最大,则Wn就是S的终点词; STEP-5:从Wn 开始,按照从右到左的顺序,依次将每个词的最佳左邻词输出,即为S的分词结果。 P’(Wi)= P’ (Wi-1) × P(Wi) 电子商务搜索引擎技术 中文分词 进一步深入探讨的问题: 新词如何发现? 词库如何补充? 词性如何区分并标注? */30 */30 本讲结束 谢谢! * Electronic Business 电子商务 第08讲 北京科技大学经济管理学院 Electronic Business 电子商务 第08讲 北京科技大学经济管理学院 Electronic Business 电子商务 第08讲 北京科技大学经济管理学院 Electronic Business 电子商务 第08讲 北京科技大学经济管理学院 Electronic Business 电子商务 第08讲 北京科技大学经济管理学院 Electronic Business 电子商务 第08讲 北京科技大学经济管理学院 Electronic Business 电子商务 第08讲 北京科技大学经济管理学院 Electronic Business 电子商务 第08讲 北京科技大学经济管理学院 Electronic Business 电子商务 第08讲 北京科技大学经济管理学院 Electronic Business 电子商务 第08讲 北京科技大学经济管理学院 */30 电 子 商 务 张文新 副教授 电话Email: zhangwx@ 课 程 安 排 讲授(36学时,共17讲) 第1讲:绪论 第10讲:电子商务物流规划技术 第2讲:电子商务的概念与结构 第11讲:物流信息系统集成技术 第3讲:电子商务战略 第12讲:物流配送优化调度技术 第4讲:电子商务系统设计 第13讲:电子商务资金流 第
文档评论(0)