《网络信息内容安全》讲义向量空间模型与概率检索模型.ppt

《网络信息内容安全》讲义/张华平/2010-10 概率模型的关键问题 通常，概率模型必须设法解决两个基本问题： 参数估计和独立性假设。 参数估计 系统中可以使用余弦值来进行初始的排序，然后使用概率权重进行相关 反馈。 我们假设（没有任何相关信息）每个词引起相关的概率是相等的。 式中　N ——文档集中文档的数量； ni ——词i索引的文档的数量； dij ——若词i在文档j中出现，则该值为1； dij ——若词i在文档j中未出现，则该值为0； qi ——若词i在查询中出现；则该值为1； qi ——若词i在查询中未出现，则该值为0。 《网络信息内容安全》讲义/张华平/2010-10 C是常量，可以根据检索的不同而调节。在大的文档集上，词项权重 非常接近逆文档频率 （N取较大值）。因此，整个表达式 非常接近在向量空间模型中使用的tf-idf。 结果：作者比较了这种方法计算的相似度，还有余弦系数和只通过每个词项的IDF求和得到的权重系数。新的相似度的效果要更好，但是值得注意的是，作者仅仅是在较小的克兰菲尔德文档集上做的测试。 问题：在某些情况下，Croft和Harper的权重计算模式将导致负权重。 概率模型的关键问题 《网络信息内容安全》讲义/张华平/2010-10 Robertson和Walker提出了新的公式 ： 式中 R ——相关文档的数量； r ——通过已知词索引的相关文档数量； S ——不相关的文档数量； s ——包含已知词的不相关文档的数量； k4, k5, k6 —— 调节常量，其中k4≥0。 概率模型的关键问题 《网络信息内容安全》讲义/张华平/2010-10 公式前两项给出了根据相关性信息计算的权重，后两项给出了根据非相关性信息计算的权重。k4的值表示查询词的优劣程度，k5和k6分别表示对相关性信息和非相关性信息的敏感度。 2. 独立性假设 通过简单地综合文档中的词项概率来计算整篇文档的相关概率的关键前提是词项的独立性假设。因为这是一个错误的假设，所以有研究人员认为这是一个“错误的理论”[Cooper，1991]。其实推理网络和逻辑回归法都是用来解决独立性假设问题的，这些将分别在2.4节和3.5节进行详细讨论。 概率模型的关键问题 《网络信息内容安全》讲义/张华平/2010-10 The end Thank you! 《网络信息内容安全》讲义/张华平/2010-10 两个相互排斥的独立性假设：[Robertson和Spark Jones，1976] I1：词项在相关文档中的分布是独立的并且在所有文档中的分布是独立的。 I2：词项在相关文档中的分布是独立的并且它们在非相关文档中的分布也是独立的。 排序原则： O1：相关的可能性仅仅基于文档中出现的查询词项。 O2：相关的可能性基于文档中出现的查询词项和未出现的查询词项。 简单词项权重 《网络信息内容安全》讲义/张华平/2010-10 在不同的排序原则和独立性假设的组合下，可以得出4种权重。给出一个词项t，考虑以下变量： N —— 文档集中文档的数量； R —— 对于已知查询q对应的相关文档的数量； n —— 包含词项t的文档数目； r —— 包含词项t的相关文档数目。 选择I1和O1组合： 简单词项权重 《网络信息内容安全》讲义/张华平/2010-10 选择I2和O1组合： 选择I1和O2组合： 选择I2和O2组合： 简单词项权重 《网络信息内容安全》讲义/张华平/2010-10 当使用不完整的相关性信息时，由于估计相关性的不确实性，我们将权重都加0.5，新的权重公式为： 简单词项权重 《网络信息内容安全》讲义/张华平/2010-10 Q：“gold silver truck” D1：“Shipment of gold damaged in a fire.” D2：“Delivery of silver arrived in a silver truck.” D3：“Shipment of gold arrived in a truck.” 我们假定这三篇文档是训练数据，并且认为文档D2和文档D3与该查询相关。 为了计算