基于Spark RDD倒排索引构建与分布式文件拷贝实现.pdfVIP

作业一使用RDDAPI实现带词频的倒排索引

倒排索引（Inverted

index），也被称为反向索引。它是文档检索系统中最常用的数据结构。被广泛应用于

全文搜索引擎。

例子如下，被索引的文件为（0、1、2代表文件名）

0.它就是它自己1.它是什么2.

它是一根香蕉

我们就能得到下

面的反向文件索引:

a:

{2}

banana:

{2}

is:

{0,

1,

2}

it:

{0,

1,

2}

what:

{0,

1}

再加上词

频为:

a:

{(2,1)}

banana:

{(2,1)}

is:

{(0,2),

(1,1),

(2,1)}

it:

{(0,2),

(1,1),

(2,1)}

what:

{(0,1),

(1,1)}

作业一使用RDDAPI实现带词频的倒排索引

倒排索引（Invertedindex），也被称为反向索引。它是文档检索系统中最常用的数据结构。被广泛

地应用于全文搜索引擎。

例子如下，被索引的文件为（0，1，2代表文件名）

0.itiswhatitis

1.whatisit

2.itisabanana

我们就能得到下面的反向文件索引：

a:{2}

banana:{2}

is:{0,1,2}

it:{0,