gensim中word2vecpython源码理解（一）初始化构建单词表.pdfVIP

gensim中word2vecpython源码理解（⼀）初始化构建单词表

本⽂主要谈⼀谈对gensim包中装的word2vecpython源码中，使⽤ierarchicalSoftmax构建单词表部分代码的理解。

由于之前阅读的论⽂是对使⽤ierarchicalSoftmax的Skip-gram模型进⾏拓展，因此阅读代码的时候重点阅读了ierarchical

Softmax构建单词表的⽅法，以及Skip-gram模型的训练⽅法。对于negativesampling⽅法和CBOW模型的实现⽅法，则会继续对代码

进⾏研究。

init

初始化⼀个model（实际上是Word2Vec类的实例化对象）：

model=Word2Vec(sentences,size=100,window=5,min_count=5,worers=4)

进⼊类的初始化⽅法__init__，对⾥⾯的属性值进⾏初始化。

传⼊的训练句⼦不为空的情况下，主要调⽤两个⽅法：

self.build_vocab(sentences,trim_rule=trim_rule)

self.train(

sentences,total_examples=self.corpus_count,epochs=self.iter,

start_alpha=self.alpha,end_alpha=self.min_alpha

)

build_vocab

该⽅法是从句⼦序列中构建单词表，其中每个句⼦都是字符串组成的列表。依次调⽤了三个⽅

法：scan_vocab，scale_vocab，finalize_vocab

下⾯依次介绍三个⽅法的功能：

scan_vocab：对句⼦中的单词进⾏初始化

代码内容阅读（有省略）：

sentence_no=-1#保存扫描完成的句⼦数量

total_words=0#保存出现的单词总数（不去重）

min_reduce=1

vocab=defaultdict(int)#将单词表初始化为⼀个字典

checed_string_types=0

#扫描每个句⼦

取出语料中每个句⼦和其语料库中的编号

forsentence_no,sentenceinenumerate(sentences):#no

forwordinsentence:

vocab[word]+=1#记录每个词出现的次数

total_words+=len(sentence)#记录扫描过的句⼦⾥的单词总数

ifself.max_vocab_sizeandlen(vocab)self.max_vocab_size:#如果对于最⼤单词数有限制且当前超出限制

#将语料库中⼩于min_reduce（初始值为1）的单词都删除

utils.prune_vocab(vocab,min_reduce,trim_rule=trim_rule)

min_reduce+=1#不断增⼤min_reduce，直到单词表长度不⼤于max_vocab_size

self.corpus_count=sentence_no+1#保存语料数（句⼦数）

self.raw_vocab=vocab#保存单词表

returntotal_words#返回单词总数

scale_vocab：应⽤min_count的词汇表设置（丢弃不太频繁的单词）和sample（控制更频繁单词的采样）。

代码内容阅读（有省略）：

加载新的词汇表：

ifnotupdate:#加载⼀个新的词汇表

retain_total,retain_words=0,[]#保留总数，保留的单词

#获得单词及其出现的数量，raw_vocab是scan_vocab中保存的单词表dict

forword,viniteritems(self.raw_vocab):

判断当前单词是否被丢弃，为修剪规则，默认为

#trim_rule