基于图结构处理的文本生成-张凌浩.pdfVIP

ThenameoftheDepartment

BeijingForestStudio

部门名称

北京理工大学信息系统及安全对抗实验中心

基于图结构处理的文本生成

硕士研究生张凌浩

2022年2月27日

内容提要

•背景简介

•发展历史

•基本概念

•算法原理

–GraphWriter

–Graph2seq

•应用总结

•参考文献

2

内容提要

•预期收获

–1.熟悉文本生成的基本概念

–2.简单了解传统的sequence-to-sequence模型和Attention机制

–3.理解两种Graph-to-sequence的代表算法

–4.开拓对图结构数据的构造与处理思路

3

背景介绍

•文本生成是自然语言处理中一个重要的研究领域，具有广阔的应用前景。

–机器翻译（MachineTranslation）

–文本摘要（Summarization）

–智能问答（Dialogue）

–创意写作（Creativewriting）

–自动评论（Comment）

…

•国内外已经有诸如AutomatedInsights、NarrativeScience以及“小冰”机器人等文

本生成系统投入使用。这些系统根据格式化数据或自然语言文本生成新闻、财报或

者其他解释性文本

4

基于图结构处理的文本生成

历史发展

历史发展

•文本生成

–基于规则

•早期的文本生成系统多是基于规则和模板

•通过分析目标文本和手工制定的规则来定义内容规划

•泛用性低，只适用于特定的领域

–基于度量

•利用文章统计信息，如词频和位置分布等信息，从候选词列表中选出生成词汇链

•以统计学为基础

•只是基于句子和单词本身的表层联系，没有充分利用词义，语义等信息

–基于语义

•对原始语料深层语义信息的挖掘

•Sequence-to-Sequence，Graph-to-Sequence….

6

基于图结构处理的文本生成

基本概念

基本概念

•Sequence-to-Sequence（seq2seq）

–大多数基于语义的文本生成都使用的是seq2seq结构

–seq2seq是Encoder–Decoder的经典结构，输入是一个序列，输出也是一个序列

–Encoder中将一个可变长度的信号序列变为固定长度的语义向量

–Decoder将这个固定长度的向量变成可变长度的目标的信号序列

–常见的有CNN/RNN/BiRNN/GRU/LSTM