Web 信息处理与应用习题解答1(共2).pdf

Web 信息处理习题解答 Chp.3 Text Processing  假设词典中包括词｛的确，王公，实在，在 理，公子｝以及所有单字集合,请分别给出 句子“王公子说的确实在理”的FMM和 BMM 分词结果 • FMM ：从左至右尽可能查找最长的词，直到当前字 符与已经处理的字符串不构成词，输出已经 识别的词，并从识别出来的词后面接着查找 王公 子 说 的确 实在 理 • BMM ：从右至左尽可能查找最长的词 王 公子 说 的确 实 在理 Chp.4 Indexing  考虑下面的文档： Doc 1 new home sales top forecasts Doc 2 home sales rise in july Doc 3 increase in home sales in july Doc 4 july new home sales rise （1）画出该文档集对应的term-document 关联矩阵 假定每个单词都作为一个索引词项 （2）画出该文档集对应的倒排索引，假定每个单词 都作为一个索引词项。要求每个词项包含 document frenquency 以及term frenquency Diagram Diagram 2 2 • 关联矩阵：关联矩阵的每一列都是0/1 向量，每个 0/1都对应一个词项 Chp.4 Indexing doc1 doc2 doc3 doc4 new 1 0 0 1 home 1 1 1 1 sales 1 1 1 1 top 1 0 0 0 forecast 1 0 0 0 rise 0 0 0 1 in 0 1 1 0 July 0 1 1 1 increase 0 0 1 0 Chp.4 Indexing • 倒排索引: new 2 1[freq.=1],4[freq.=1] home 4 1[freq.=1],2[freq.=1],3[freq.=1],4[freq.=1] sales 4 1[freq.=1],2[freq.=1],3[freq.=1],4[freq.=1] top 1