一种自由化的诗歌生成方法.docx

一种自由化的诗歌生成方法 一、背景 1.1 自动做作诗机 自动做作诗程序一直被认为是当代人工机器智能领域极为重要的重要研究方向重要标志，因为人做诗需要极强的创造力，机器做诗必须它能够"学习”古诗的行文方式并“模拟”人脑的创作能力，因此极为困难。本发明提出一自动生成中国古诗的方法，与传统方法相比，该方法更灵活，创造力更强。 传统的古诗生成主要有两种方式： 1，SMT（统计机器翻译（SMT）概率模型 该方法将古诗创作看作由前一句对后一句的翻译过程，逐步生成整首古诗。该方法主要是通过统计概率的特征，生成概率最大的诗歌，但是由于计算量巨大和稀疏问题，所以只能不完全考虑诗歌上文的信息的一个缺点是一句古诗的生成仅依赖前一句，无法保证整首诗的完整性。同时，SMT模型一般基于字的共现信息，该信息在古诗中非常稀疏，导致建模能力较差。 2，神经网络(NN)解码模型 该方法简单地说就是将用户所给的信息（首句）等，通过神经网络压缩成信息向量，再用将该信息向量作为初始状态，通过神经网络逐句将其翻译生成整首诗歌输出。 NN NN神经网络/SMT 特征 规则 词表 白日依山尽 黄河入海流... 图1: 古诗生成框架 二、问题描述 传统的古诗生成方法存在一个显著缺点，即都依赖于一种已经固定好的诗歌格式，如五言绝句、七言律诗等。这种固化格式的诗歌生成方法意味着（1）在训练中只能选择相对应的诗歌语料进行训练，导致模型训练不充分；（2）在生成中仅能生成固定格式的诗，不能灵活扩展； (3) 生成过程仅有前后句互相关联，容易产生主题偏离。 1、传统的模型均不能直接生成首句，而是通过某些固定的格式来分析用户的信息，这种方法生成的首句往往极为不通顺，且只能有固定的格式 2、传统的神经网络方法只能够生成定长的古诗（七言、五言诗 等）， 3、当首句给定的时候，传统方法只能够生成一首古诗。 为了生成更加丰富的古诗，乃至不等长对联、宋词的生成，本发明将一种全新的模型应用到了诗歌生成上并作出了改进方法。该方法将整首诗歌看成一个包含断句符号的完整字串（而非若干句子），利用递归神经网络(RNN)对这一字串进行学习，得到古诗的行文风格。在生成时，RNN模型生成候选字，再加入人为设定的规则使生成符合古诗的格式。这一方法的优点是： 可以利用多种格式的古诗甚至非古诗文本学习这一模型，解决了数据稀疏的问题； 可以利用该模型生成任意长度，任意多个句子的古诗; 每一句诗与前面所有已经生成的句子相关联，保证整首诗的一致性。 三、发明要点 3.1 基于双LSTM(Long-Short Term Memory) Attention(注意力)RNN结构的编码解码不定长生成方法古诗生成模型 本发明将基于长短时记忆迭代神经RNN网络构建古诗生成模型，如图1所示。和注意力机制做结合，将其应用到了古诗生成的领域。首先，该方法将用户给予的信息（如图1中的“春花秋月何时了”作为首句），经过一个LSTM双向RNN网络（图1下部矩形列），编码成一组向量（图1下部矩形列），该向量作为用户意图的编码。，量。然后，不同于传统的一句一句的生成方法（规定只能生成五言或者七言），该方法在生成过程中（图1的上部），一个单向RNN网络不断循环运行，生成古诗的中的每一个字。不断进行“字”的生成，并且在生成每一个字的时候，使用注意力（attention）的方式，对对编码的用户的意图组向量进行查看，中的部分进行相似度判断，找到取出与当前生成状态最最相关的用户意图进行下一字的生成。重要的信息来进行生成（图1上部），在生成过程中，强制加入并在符合规则的基础上对字的候选集进行断句、押韵、平仄等限制加入古诗要遵守的限制，这样就保证了生成的“字串”既能最大程度地符合语法和语义义规则（LSTM通过上文信息可以得出下文最有可能的字RNN的生成符合语法和语义规则），又保证了生成符合古诗规范，并紧紧围绕用户的意图展开。主题的紧密型，同时也做到了不定长的生成形式，改发明的架构示意图如下： 图1：基于RNN的古诗生成拥有attention机制的双LSTM结构示意图模型 3. 2 多种结构古诗的灵活生成 图1所示的模型结构可以生成任意一种格式的古诗，只要改变生成过程中的结构限制即可。如当限制为每句5个字后必须有一个断句符时，即是五言诗，当限制为每句7个字后必须有一个断句符时，即是七言诗。只要不停止，可以生成任意多句古诗，而且所有诗句都围绕用户意图生成，不会发生主题发散。 3.3反向生成首句： 由于本发明的结构可以处理和学习任意长度的输入和输出，所以当用户给定关键句或者主题后，通过生成的语句，可以再次进过反向生成（已生成作为输入，同一模型）得到生成的首句，而不需要像传统方法一样使用一些限制和规则来生成呆板的首句 同样模型 同样模型 特征 规则 词表 黄