CN107423437-CN201710662815-一种基于对抗网络强化学习的问答模型优化方法.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 107423437 A (43)申请公布日 2017.12.01 (21)申请号 201710662815.X (22)申请日 2017.08.04 (71)申请人 逸途（北京）科技有限公司 地址 100015 北京市朝阳区酒仙桥路4号宏 源大厦1904 (72)发明人 王春辉　 (74)专利代理机构 北京国坤专利代理事务所 (普通合伙) 11491 代理人 赵红霞 (51)Int.Cl. G06F 17/30(2006.01) G06N 5/02(2006.01) 权利要求书2页 说明书4页 附图1页 (54)发明名称 一种基于对抗网络强化学习的问答模型优 化方法 (57)摘要 本发明公开了一种基于对抗网络强化学习 的问答模型优化方法，问答模型优化方法的原理 是在知识库中多问一答以及一问多答题目，然后 引入了对抗机制，即通过两套智能问答系统交替 问答实现问答交互，基于强化学习机制，最终优 化智能问答系统模型并具有奖励系统模型。本发 明设计合理，定义了对抗问答交互的优化指标及 其计算方式，包括易响应性、内容丰富性、主题演 变性及语义连续性，并进一步定义了对抗问答模 型优化的奖励函数，强化了学习，可以不断优化 问答模型，提高问答交互的质量，提升用户体验。 A 7 3 4 3 2 4 7 0 1 N C CN 107423437 A 权　利　要　求　书 1/2页 1.一种基于对抗网络强化学习的问答模型优化方法，其特征在于：问答模型优化方法 的原理是在知识库中多问一答以及一问多答题目，然后引入了对抗机制，即通过两套智能 问答系统交替问答实现问答交互，基于强化学习机制，最终优化智能问答系统模型并具有 奖励系统模型。 2.根据权利要求1所述的一种基于对抗网络强化学习的问答模型优化方法，其特征在 于：所述智能问答系统模型包括两个问答系统，两个问答系统分别表示为M以及N，初始时随 机指定一个问题输入，接下来M和N交替问答；问答的时候，在第i轮问答中，M、N相应的应答 分别表示为M +M 、N +N ，其中，N 表示N对于M 的应答，M 表示M对于N 的应答，问答交 Ai Qi Ai Qi Ai Qi Ai+1 Qi 互进行；值得注意的是，M 以及N 有可能不存在，即M或N只应答而没有进一步提出问题，则 Qi Qi 相应的N 以及M 也不存在。 Ai+1 Ai+1 3.根据权利要求2所述的一种基于对抗网络强化学习的问答模型优化方法，其特征在 于：所述奖励系统模型包括无意义回答概率公式、内容丰富奖励公式、主题演变奖励公式、 语义相似度奖励公式和最终的奖励公式； 无意义回答概率公式表示为， 其中，N 为集合S的大小，P(N |M )是当第i轮M输出问题M 时，第i+1轮N的回答是N s Ai+1 Qi Qi Ai+1 的概率，对集合S中所有响应遍历计算平均概率，就可以得到当前时刻问答模型产生无意义 回答的概率；通过尽量让问答模型产生这样无意义回答的概率变小(即f变大)，可以实现 1 较好的问