神经网络语言模型word2vec课件
神经网络语言模型简介
目录
语言模型
神经网络语言模型
词向量
分布假说
词的语义由其上下文决定( a word is characterized by the company it keeps)
语言模型
判断一句话是不是一个正常人说出来的。
n-gram语言模型
统计语言模型的作用是为一个长度为 m 的字符串确定一个概率 分布 P(w1, w2, ..., wm),表示其存在的可能性,其中 w1 到 wm 依次表示这段文 本中的各个词。一般在实际求解过程中,通常采用下式计算其概率值:
P(w1, w2, ..., wm) = P(w1) P(w2|w1) P(w3|w1, w2). . . P(wi | w1, w2, ..., wi−1) . . . P(wm | w1, w2, ..., wm−1)
例:P(大家,喜欢,吃,苹果)=p(大家)p(喜欢|大家)p(吃|大家,喜欢)p(苹果|大家,喜欢,吃)
简化版本:
n元模型,P(wi | w1, w2, ..., wi−1) ≈ P(wi | wi−(n−1), . . . , wi−1)
当n=1时,退化为一元模型:P(w1, w2, ..., wm) = P(w1)P(w2) . . . P(wm) 常用的为二元模型和三元模型
n元模型传统计算方法是采用频率计数的比例估算n元条件概率:
其中,
您可能关注的文档
- 祖国好,家乡美课件.ppt
- 社戏省优质课课件课件.ppt
- 祁县渠家大院古建筑群修缮保护工程传统工艺述要课件.doc
- BAS楼宇智能控制.pptx
- 祖国在我心中综合性学习汇报----袁晓辉.pptx
- 祝福(公开课优秀).ppt
- BA调试方案1.docx
- 神东电力公司第八届职工技能大赛集.doc
- 祝福..pptx
- 社团部环保创意大赛.pptx
- 四川省成都市嘉祥教育集团2024-2025学年七年级下学期期中数学试题(解析版).docx
- 四川省成都市青羊区石室联合中学2024-2025学年七年级下学期期中考试数学试题(解析版).pdf
- 四川省成都市青羊区石室联合中学2024-2025学年七年级下学期期中考试数学试题(解析版).docx
- 四川省成都市武侯区北京第二外国语学院成都附属中学2024-2025学年七年级下学期期中数学试题(解析版).docx
- 四川省成都市武侯区北京第二外国语学院成都附属中学2024-2025学年七年级下学期期中数学试题(解析版).pdf
- 四川省绵阳市涪城区2024-2025学年七年级下学期5月期中考试数学试题(解析版).pdf
- 四川省绵阳市涪城区2024-2025学年七年级下学期5月期中考试数学试题(解析版).docx
- 四川省绵阳市江油市2024-2025学年七年级下学期5月期中数学试题(解析版).pdf
- 四川省绵阳市江油市2024-2025学年七年级下学期5月期中数学试题(解析版).docx
- 四川省绵阳市游仙区2024-2025学年七年级下学期5月期中考试数学试题(解析版).docx
最近下载
- 载药磷酸钙骨水泥治疗慢性骨髓炎研究进展.pdf VIP
- 五年级数学下册小数乘除法计算练习题(每日一练,共20份).pdf VIP
- 载药磷酸钙骨水泥:性能、制备、应用与展望.docx VIP
- 2025年小数乘除法竖式计算专项练习题(每日一份,共13份) .pdf VIP
- 回春医疗保健操自编60节).pdf VIP
- 小数乘除法竖式计算专项练习题大全(每日一练,共24份).pdf VIP
- 胫骨假体延长杆的偏心设计在中国人中的应用研究.pdf VIP
- 康复治疗师考试题库及答案.docx VIP
- 2023年浙江大学强基计划数学试题真题答案解析(精校打印版) .pdf VIP
- 工程管理高工答辩问题.docx VIP
原创力文档

文档评论(0)