合同登记编号-清华大学信息技术研究院语音和语言技术中心.DOC

合同登记编号： 技 术 开 发 合 同 书 （试 用） 项目名称： 智能语音对话系统核心技术开发(第三期) 委托方： 北京中科汇联信息技术有限公司 （甲方） 研究开发方：清华大学（信息技术研究院） （乙方） 签订地点： 北京 市（县） 签订日期： 2015年 8 月 1 日 有效期限： 2015年8月1 日至 2016年 7月 30日  依据《中华人民共和国合同法》的规定，在乙方已有 语音识别 技术的基础上，基于甲方对乙方技术背景的充分了解，合同双方就 智能语音对话系统核心技术开发(第三期) 项目的技术开发，经协商一致，签订本合同。 一、标的技术的内容、形式和要求： 概述 本项目基于甲乙双方在“智能语音对话系统”第一期、第二期项目中的成功合作，展开第三期合作研究开发。甲方委托乙方进行基于深度学习的智能语音对话系统核心技术的研究，具体内容包括两个方面： 开发基于深度神经网络的新一代问答系统(DLQA)原型； 开发基于深度学习的产生式模块，包括文字生成模块、音乐生成模块和图像生成模块。 乙方将按甲方要求，完成上述开发内容的调研、总结、代码实现与测试，最终形成可集成到甲方现有问答系统平台的软件套件。 新一代问答系统(DLQA)开发 传统问答（QA）系统多基于“信息抽取”与“知识工程”方法，即通过信息抽取方法得到与问题在词形上近似的候选答案，再利用自然语言处理(NLP)方法对问题与候选答案进行分析，对候选答案进行语义上的相似性重选，从而确定最佳答案。这一方法繁琐冗杂，需要利用大量自然语言处理工具。这些工具一般依赖较强的领域相关模型，因此可扩展性较差；同时，将各种不同源的工具组合在一起也会产生工程上的复杂性。 最近兴起的深度学习方法在自然语言处理领域带来革命性变化。通过深度学习，各种语言现象可以通过大规模数据建模的方式进行统一学习，生成的深度神经网络(DNN)模型具有跨领域的通用性。为了提高该模型在特定领域里的性能，领域相关知识作为任务相关性信集成到系统中，实现系统的快速开发与定制。图1给出了DLQA系统的框架示意图，其中DNN网络通过大规模文本语料库学习，领域相关知识表达为三元组，二者结合在一起形成可以理解自然语言的智能系统。 图1. DLQA系统示意图 文字生成模块 为展示问答系统的智能性，本项目研发三个智能生成模块，其中文字生成模块较为成熟。本项目主要关注的是自动古诗词生成，如用户给出诗的第一句“花开分两枝”，则机器可自动生成余下三句：“月落见明池。晓看花飞处，难得桃李诗”。传统古诗生成方法多采用搜索法，并非真正诗歌创作。本项目利用递归神经网络（RNN）进行古诗词学习。如为了自动生成唐诗，本项目需要收集上万首五言或七言诗，训练成RNN模型，由此模型自动进行诗歌创作。 图二给出了基于Attention RNN的古诗自动生成系统框架，该模型的输入为前一句诗的字向量，通过RNN产生下一句诗的每个字，并与前一句中相应的字形成对应关系。该方法可以有效解决诗词生成过程中偏离主题等问题。 （四）图像生成模块 本模块由一幅图片生成相关图片，同时改变图片的属性。例如，在书法图像中，将楷体书法改写成行体书法，或某个人的笔迹等。传统方法多采用整体线性或非线性变换方法实现这一转换，只是形式上的转换，很难学到某种字体的运笔方式和规律。本项目采用RNN模型，结合Attention方法，实现对输入图片的细节进行学习和变换。通过学习细节，不仅可以得到某种书法的细节性运笔规律，还可以自由产生没有见过的新字。图三给出了利用神经网络将一个楷体的“月”字转换成魏碑体的过程。本项目特别开发对书法作品的学习，如学习王曦之的字体，不仅可以复现这位书法家曾写过的字，而且可以生成不同的写法，甚至生成他从没写过的字，比如简体汉字。 图二：基于Attention RNN的宋词生成 图三：基于神经网络的图像生成 （五）音乐生成模块 和文字生成一样，音乐符号（音阶、音长等）可以通过深度学习进行建模。本项目通过收集整理大量音乐乐谱，自动学习不同类型音乐的独特模式，由RNN模型通过指定模式自动生成乐谱，并通过MIDI进行演奏。该方法不必研究音乐生成的细节，而是通过大量现有音乐乐谱，自动发现其中的规律，将该规律表达为深度神经网络模型，并依此模型自动谱曲，具有自动化程度高、生成乐谱自由快捷、创新性强等优势。 二、应达到的技术指标和参数： 预期DLQA将比传统QA系统在新领域中的召回率提高10个点。 智能文字生成模块可以自由生成唐诗、宋词及闲聊内容，主观评价值达