TPLinker联合抽取实体链接方式+源码分析.pdfVIP

TPLinker联合抽取实体链接⽅式+源码分析 Tagging TPLinker模型需要对关系三元组(subject, relation, object)进⾏⼿动Tagging ，过程分为三部分： （1）entity head to entity tail (EH-TO-ET) （2）subject head to object head (SH-to-OH) （3）subject tail to object tail (ST-to-OT) 标记⽰例见下图，EH-TO-ET⽤紫⾊表⽰，SH-to-OH⽤红⾊表⽰，ST-to-OT⽤蓝⾊表⽰。 关于解码过程 通过实体抽取得到字典D后，遍历关系，通过关系得到有关系的两个实体的尾部E ， 再通过关系得到有 关系的两个实体的头部，结合字典D 得到这两个实体尾部set(s),set(o)(此为真实的标签），再通过 set(s),set(o)在不在E⾥⾯，来判断是否成功抽取了⼀条三元组。 其中相关的公式： ⽂章的⼤概内容进⾏了解读，现在到了代码解读环节： 输⼊数据部分： 输⼊的seq的长度为seq_len ，获取句⼦的最⼤长度 train and valid max token num max_tok_num =0 all_data = train_data + valid_data for sample in all_data: tokens = tokenize(sample[text]) max_tok_num =max(max_tok_num,len(tokens)) max_tok_num # 获取句⼦的最⼤长度 接下来对⽂本超过长度的进⾏划窗处理： if max_tok_num hyper_parameters[max_seq_len]:# 截断长度 train_data = preprocessor.split_into_short_samples(train_data, hyper_parameters[max_seq_len], sliding_len = hyper_parameters[sliding_len], encoder = config[encoder]#超过长度则滑动窗⼝得到新的样本 ) valid_data = preprocessor.split_into_short_samples(valid_data, hyper_parameters[max_seq_len], sliding_len = hyper_parameters[sliding_len], encoder = config[encoder] ) 接下来看划窗的具体操作 def split_into_short_samples(self, sample_list, max_seq_len, sliding_len =50, encoder =BERT, data_type =train): new_sample_list =[] for sample in tqdm(sample_list, desc =Splitting into subtexts): text_id = sample[id] text = sample[text] tokens = self._tokenize(text) tok2char_span = self._get_tok2char_span_map(text)#返回句⼦中单词的偏移量 # sliding at token level split_sample_list =[] for start_ind in range(0,len(tokens), sliding_len):#sliding_len 滑动窗⼝的⼤⼩， if encoder BERT:# if use bert, do not split a word into two samples while##in tokens[start_ind]: start_ind -=1 end_ind = start_ind + max_seq_len # 结束的长度 char_span_list = tok2char_span[start_ind:end_ind]#截断 char_level_span =[char_span_list[0][0], char_span_list[-1][1]]#第⼀个词到最后⼀个词的长度 sub_text = text[char_level_span[0]:char_level_span[1]]#原始⽂本截断 new_sample ={ id