向量空间模型.pptVIP

《网络信息内容安全》讲义/张华平/2010-10简单词项权重估计给定词项在相关文档中的概率假设D1和D2是相关文档，D3、D4和D5是非相关文档词项t1使文档Dj相关的概率：第30页，共68页，星期日，2025年，2月5日《网络信息内容安全》讲义/张华平/2010-10给定一篇文档di，它包含t个词项(w1,w2,…,wt)对于文档中一个已知的词项，它对估计整篇文档相关的贡献可以计算为：文档di相关的权重或者“可能性”基于文档中每个词项相关的概率。基于已知的独立性假设，我们可以将文档中每个词项出现的概率相乘来得到文档相关的概率，最后将乘积取对数：简单词项权重第31页，共68页，星期日，2025年，2月5日《网络信息内容安全》讲义/张华平/2010-10两个相互排斥的独立性假设：[Robertson和SparkJones，1976]I1：词项在相关文档中的分布是独立的并且在所有文档中的分布是独立的。I2：词项在相关文档中的分布是独立的并且它们在非相关文档中的分布也是独立的。排序原则：O1：相关的可能性仅仅基于文档中出现的查询词项。O2：相关的可能性基于文档中出现的查询词项和未出现的查询词项。简单词项权重第32页，共68页，星期日，2025年，2月5日《网络信息内容安全》讲义/张华平/2010-10在不同的排序原则和独立性假设的组合下，可以得出4种权重。给出一个词项t，考虑以下变量：N —— 文档集中文档的数量；R —— 对于已知查询q对应的相关文档的数量；n —— 包含词项t的文档数目；r —— 包含词项t的相关文档数目。选择I1和O1组合： 简单词项权重第33页，共68页，星期日，2025年，2月5日《网络信息内容安全》讲义/张华平/2010-10选择I2和O1组合：选择I1和O2组合： 选择I2和O2组合：简单词项权重第34页，共68页，星期日，2025年，2月5日《网络信息内容安全》讲义/张华平/2010-10当使用不完整的相关性信息时，由于估计相关性的不确实性，我们将权重都加0.5，新的权重公式为：简单词项权重第35页，共68页，星期日，2025年，2月5日《网络信息内容安全》讲义/张华平/2010-10Q：“goldsilvertruck”D1：“Shipmentofgolddamagedinafire.”D2：“Deliveryofsilverarrivedinasilvertruck.”D3：“Shipmentofgoldarrivedinatruck.”我们假定这三篇文档是训练数据，并且认为文档D2和文档D3与该查询相关。为了计算相似度，首先计算出查询词项的权重，然后计算出匹配词项的权重的和。简单词项权重—举例第36页，共68页，星期日，2025年，2月5日《网络信息内容安全》讲义/张华平/2010-10简单词项权重—举例每个查询词项的频率使用以上公式进行计算，我们得出以下权重：gold：goldsilvertruckN333n212R222r112第37页，共68页，星期日，2025年，2月5日《网络信息内容安全》讲义/张华平/2010-10silver：truck：简单词项权重—举例第38页，共68页，星期日，2025年，2月5日《网络信息内容安全》讲义/张华平/2010-10简单词项权重—举例词项权重文档权重w1w2w3w4gold-0.079-0.176-0.176-0.477silver0.0970.3010.1760.477truck0.1430.5230.5231.176w1w2w3w4D1-0.079-0.176-0.176-0.477D20.2400.8240.6991.653D30.0640.3470.3470.699第39页，共68页，星期日，2025年，2月5日《网络信息内容安全》讲义/张华平/2010-10实验结果：第三种权重和第四种权重的性能相当，但是优于第一种权重和第二种权重。科研人员在U