地址文本相似度算法研究.pdfVIP

摘要

地址在生活中扮演着弥足轻重的角色。地址的表达方式复杂多样，在不同的

应用场景下为了对地址进行统一标准化，需要将生活中的地址与数据库中的标

准地址进行精确匹配。本文以CCKS地址相似度数据集以及BERT（Bidirectional

EncoderRepresentationfromTransformers）语言模型为实验基础，针对数据集中

存在的数据缺失、数据不平衡等问题以及模型中自注意力机制依赖信息提取不

充分的问题，从数据预处理、模型结构、模型集成等三个方面进行优化与创新。

主要工作和成果如下：

（1）提出了多种针对地址文本的数据预处理方法，包括针对缺省或不规范

地址文本的补齐扩充方法，该方法利用AC（Aho-Corasick）自动机算法对输入

地址进行匹配筛选后输出地址文本补齐可选项，再根据可选项的数量判断是否

补齐来避免引入错误信息；另外还包括通过争议点分解来减少包含多个标签差

异点的复杂数据、匹配性传递来扩充数据、组间去重来减少数据冗余等其他数据

预处理方法。实验证明，提出的数据预处理方法通过完善训练数据信息、降低训

练数据复杂度等提高了模型的性能。

（2）提出了一种自注意力机制优化方法，该方法针对原自注意力机制存在

关注信息范围狭窄和现有基于高斯分布的优化方法存在关注信息单调、固化等

问题，采用在原自注意力机制的基础上将高斯分布作为增值的形式，并结合高斯

分布的自身特性、自注意力机制中字与字之间的关系、相对位置广泛的表示性、

不同网络结构提取同类特征等四个要点来控制高斯分布的期望与数值大小。实

验证明，提出的自注意力机制优化方法通过自适应修正自注意力机制中的关注

信息提高了模型的性能。

（3）提出了一种模型集成数据分割方法，该方法针对地址相似度数据集中

存在的数据不平衡会在模型集成时进一步放大的问题，在子数据集的生成过程

中，不再让数据量占比小的标签数据参与交叉分组数据分割，而总是让该标签数

据以全数据量加入其他标签经过数据分割后的子数据集。实验证明，提出的模型

集成数据分割方法通过优化子模型的训练数据分布由下至上提高了集成模型的

性能。

关键词：地址，文本相似度，数据预处理，自注意力机制，模型集成数据分割方

法

ABSTRACT

Addressplaysanimportantroleinlife.Theexpressionofaddressiscomplexand

diverse,whichrequiresanexactmatchwiththestandardaddressinthedatabaseto

unifyandstandardizetheaddressoflifeonvariousapplicationscenarios.Basedon

CCKSaddresssimilaritydatabaseandBERT(BidirectionalEncoderRepresentation

fromTransformers)LanguageModel,inviewofthedatamissinganddataimbalance

oftheaddresssimilaritydatabaseandtheshortcomingofcapturingdependenciesin

self-attentionmodel,theoptimizationandinnovationofthisthesisfocusesondata

preprocessing,modelarchitectureandmodelensemble.Themainworkandresultsare

asfollows:

(1)Avarietyofdatapreprocessingmethodsforaddressareproposed,oneofthem

isusedtocompleteincompleteorirregularaddresseswhichbasedontheAho-Corasick

automato