ACVOOV语境含义的词向量生成模型.PDFVIP

第３６卷第６期 计 算 机 应 用 研 究 Ｖｏｌ．３６Ｎｏ．６ ２０１９年６月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｊｕｎ．２０１９ ｗｏｒｄ２ｖｅｃＡＣＶ：ＯＯＶ语境含义的词向量生成模型  王永贵，郑　泽 ，李　癑 （辽宁工程技术大学软件学院，辽宁 葫芦岛１２５１０５） 摘　要：针对ｗｏｒｄ２ｖｅｃ模型生成的词向量缺乏语境的多义性以及无法创建集外词（ＯＯＶ）词向量的问题，引入 相似信息与ｗｏｒｄ２ｖｅｃ模型相结合，提出ｗｏｒｄ２ｖｅｃＡＣＶ模型。该模型首先基于连续词袋（ＣＢＯＷ）和 Ｈｉｅｒａｒｃｈｉｃａｌ ｓｏｆｔｍａｘ的ｗｏｒｄ２ｖｅｃ模型训练出词向量矩阵即权重矩阵；然后将共现矩阵进行归一化处理得到平均上下文词向 量，再将词向量组成平均上下文词向量矩阵；最后将平均上下文词向量矩阵与权重矩阵相乘得到词向量矩阵。 为了能同时解决集外词及多义性问题，将平均上下文词向量分为全局平均上下文词向量（ｇｌｏｂａｌＡＣＶ）和局部平 均上下文词向量（ｌｏｃａｌＡＣＶ）两种，并对两者取权值组成新的平均上下文词向量矩阵，并将ｗｏｒｄ２ｖｅｃＡＣＶ模型和 ｗｏｒｄ２ｖｅｃ模型分别进行类比任务实验和命名实体识别任务实验。实验结果表明，ｗｏｒｄ２ｖｅｃＡＣＶ模型同时解决了 语境多义性以及创建集外词词向量的问题，降低了时间消耗，提升了词向量表达的准确性和对海量词汇的处理 能力。 关键词：ｗｏｒｄ２ｖｅｃ模型；词向量；共现矩阵；平均上下文词向量 中图分类号：ＴＰ３９１．１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１９）０６００５１６２３０６ ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０１７．１２．０８００ ｗｏｒｄ２ｖｅｃＡＣＶ：ｗｏｒｄｖｅｃｔｏｒｇｅｎｅｒａｔｉｏｎｍｏｄｅｌｏｆＯＯＶｃｏｎｔｅｘｔｍｅａｎｉｎｇ  ＷａｎｇＹｏｎｇｇｕｉ，ＺｈｅｎｇＺｅ，ＬｉＹｕｅ （ＣｏｌｌｅｇｅｏｆＳｏｆｔｗａｒｅ，ＬｉａｏｎｉｎｇＴｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ，ＨｕｌｕｄａｏＬｉａｏｎｉｎｇ１２５１０５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅｗｏｒｄ２ｖｅｃｍｏｄｅｌｉｓａｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌ（ＮＮＬＭ）ｔｈａｔｃｏｎｖｅｒｔｓｗｏｒｄｓｉｎｔｅｘｔｉｎｔｏａｗｏｒｄｖｅｃｔｏｒ．Ｉｔｉｓｗｉｄｅｌｙ ｕｓｅｄｉｎｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇｔａｓｋｓｓｕｃｈａｓｅｍｏｔｉｏｎａｌａｎａｌｙｓｉｓ，ｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇｒｏｂｏｔａｎｄｓｏｏｎ．Ｗｏｒｄｖｅｃｔｏｒｓｇｅｎｅｒ ａｔｅｄｆｏｒｔｈｅｗｏｒｄ２ｖｅｃｍｏｄｅｌｌａｃｋｅｄｔｈｅａｍｂｉｇｕｉｔｙｏｆｃｏｎｔｅｘｔａｎｄｔｈｅｉｎａｂｉｌｉｔｙｔｏｃｒｅａｔｅＯＯＶｗｏｒｄｖｅｃｔｏｒｓ．Ｂａｓｅｄｏｎｔｈｅｓｉｍｉ ｌａｒｉｔｙｉｎｆｏｒｍａｔｉｏｎｏｆｄｏｃｕｍｅｎｔｃｏｎｔｅｘｔａｎｄｗｏｒｄ２ｖｅｃｍｏｄｅｌ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｗｏｒｄｖｅｃｔｏｒｇｅｎｅｒａｔｉｏｎｍｏｄｅｌｃａｌｌｅｄｔｈｅ ｗｏｒｄ２ｖｅｃＡＣＶｍｏｄｅｌｗｈｉｃｈｃｏｎｆｏｒｍｅｄｔｏｔｈｅｍｅａｎｉｎｇｏｆＯＯＶｃｏｎｔｅｘｔ．Ｔｈｅｍｏｄｅｌｗａｓｓｉｍｉｌａｒｔｏｔｈｅｐｒｏｃｅｓｓｏｆｔｈｅｗｏｒｄｖｅｃｔｏｒ ｇｅｎｅｒａｔｅｄｂｙｔｈｅｗｏｒｄ２ｖｅｃｍｏｄｅｌ．Ｆｉｒｓｔｏｆａｌｌ，ｂａｓｅｏｎｔｈｅｃｏｎｔｉｎｕｏｕｓｗｏｒｄｂａｇ（ＣＢＯＷ）ａｎｄｔｈｅＨｉｅｒａｒｃｈｉｃａｌｓｏｆｔｍａｘ，ｔ