文本分析模型.pptVIP

大数据分析·原理与实践7、文本分析模型 目录统计语言模型中文分词TF-IDF权重PLDAWord2Vec12345 目录统计语言模型中文分词TF-IDF权重PLDAWord2Vec12345 统计语言模型基于规则的方法判断这个句子是否合乎文法、含义是否正确。但文法规则是十分复杂的，覆盖哪怕是20%的真实语句的文法也至少是几万条。而且，不断会有新的文法规则产生。就算找到了所有的文法规则，用计算机解析也是非常困难的。如何衡量一个句子是否合理美联储主席本·伯南克昨天告诉媒体7000亿美元的救助资金将借给上百家银行、保险公司和汽车公司。主语：美联储主席本·伯南克动词短语：昨天告诉媒体7000亿美元的救助资金将借给上百家银行、保险公司和汽车公司句号：。 统计语言模型基于统计的方法一个句子是否合理，就看看它的可能性大小如何。至于可能性就用概率来衡量。假设S是一个有意义的句子。那么想要得到S出现的概率P(S)，我们可以把人类有史以来出现的句子统计一下。当然，这行不通。因此需要有个模型来估算它。如何衡量一个句子是否合理? 统计语言模型基于统计的方法句子是由词组成的。设S由一串特定顺序排列的词w1,w2,…,wn组成。那么有如何衡量一个句子是否合理利用条件概率的公式，我们可以展开得到其中P(w1)表示第一个词w1出现的概率；P(w2|w1)是在已知第一个词的前提下，第二个词出现的概率；以此类推。S1