信息检索答案..docxVIP

感谢同学们用自己宝贵的时间为班级同学做出的答案，除了2013年年初卷的第六题外，剩余题的答案如下文。（答案仅供参考。可能个别答案有错，欢迎同学们在群里讨论。）(2013年初期末)第一题.答：（1）可以直接将语言模型作为分类模型的应用：将文档本身视为一个词（字）的随机观察序列，文档归属哪个类别由在该类别中观察到此随机序列的概率值大小决定（2）同：贝叶期需要估计一个词出现在某个类的概率，而这种估计与统计语言模型的构造非常相似。并且他们都使用平滑技术来解决零概率问题。异：（a）传统分类模型（向量空间模型和朴素贝叶斯模型）要先将文档由词的有序排列变成一个无序的“词袋”，这虽然简化了处理过程，使得机器易于学习，但在这种变换过程中信息的损失是无法避免的，这也是这些分类模型的准确率无法达到更高的重要原因之一。而统计语言模型如果把文档看成词的序列，那么这些词的出现与否及其出现的次序可以看成是一种语言结合模式，这些结合模式信息完全可以被用来进行文档类别判别，也就是说不同类别的文档，其语言结合模式是不同的。（b）在应用的方向方面，在信息检索当中，文档构造语言模型(LM)并应用到query上。但是，贝叶斯分类模型是为每个类别构造语言模型，并应用到一篇文档当中。(2013年底 期末)第一题.答:Language Model 要给出一个字符串的概率：?，这个式子分解如下：在构造模型的时候，我们可以通过统计训练数据里各个单词出现的频率来近似逼近它的概率，但本身随着 context 长度的增长，可能的情况会爆炸性地增长，训练数据不可能覆盖所有可能的数据。为了避免这种爆炸性的复杂度增长，有人做了一个很大胆的近似方法：抛弃所有的上下文信息。现在一个单词在不同的地方出现，对于这个模型来说都是同等对待了，而这就是 Naive Bayes ——朴素贝叶斯。朴素贝叶斯直接抛弃所有上下文信息，这样??，因此：这样，这个模型只需要提供所有单词的概率，那么任意复杂的字符串的概率都可以直接分解计算出来，并且单词的概率也更加容易求得，只需要用训练数据中每个单词出现的次数除以总的单词数目即可，并且不需要太多（相对于考虑上下文的情况）的文档就可以训练出比较精确的模型来，所以说二者的本质是一样的。（2013年底期末）(2013年初期末)第二题. 答:矢量空间中把每一个文档看成一个向量，向量的每个维度措词项的TF*IDF值矢量空间模型用于查询，是指将查询也看成一个向量，求该查询向量q与各个文档向量的余弦相似度即 同理也可求两个文档D1, D2的余弦相似度，将该余弦相似度作为两篇文档的“距离”衡量标准进行分类文档向量夹角越小的两篇文档越有可能分为一类。(2013年底期末)同(2013年初期末第2题)第三题. 答:F-measure是一种结合precision和recall的查询准确度指标。请举例说明：为什么F-measure使用调和平均数，而非算术平均数？答：一个原因是，在用F-measure衡量时有时候要强调precision有时要强调recall，如果单纯采用算术平均数就不能改变二者的权重去适应不同的需求。另一个是，调和平均数对差异更敏感，对变化更敏感，在极端情况下算术平均数是体现不出这种变化的。例如，我们可以通过返回所有文档来获得100%的召回率，此时如果采用算术平均来计算F值，那么F值至少为50%。这表明在这里使用算术平均是不合适的。而如果采用调和平均来计算，鉴定10000篇文档中只有1篇和查询相关，那么此时F值为0.02%。调和平均值小于等于算术平均值和几何平均值。如果两个求平均的数之间相差较大，那么和算术平均值相比，调和平均值更接近其中的较小值。（2013年底期末）同(2013年初期末第3题)第四题.答:协同过滤的方法推荐广告1.首先，我们可以把广告当作Item，用户就是User。主要考察用户对广告的点击行为，利用Jaccard公式计算User或者Item之间的相似度，然后给相似的User推荐它们没有点击过的Item，或者把相似的Item推荐给那些没点过的User，前者是基于User的协同过滤，后者是基于Item的协同过滤。2.当然，这样的效果一般不会太好，因为搜索广告是通过匹配用户( User) 输入到搜索引擎的查询词( Query) 与广告投放所用的关键词( Keyword) ，使得用户看到广告商提供的广告( Ad)。这其中的确能反映用户对特定类别广告的兴趣情况，但相关性远不如查询词和广告间的相关性，而且用户对广告的点击行为比较稀疏，具体的查询词与广告之间的行为更稠密些。因此可以将Query看成User，甚至可以把Query里的每个关键字看成单个User，Item则是广告。这样，直接就可以利用CF算法来做推荐。（2013年初期末）4.考虑同义词和近义词的向量空间模型改进各