聊天机器人的构建方法：基于模板，检索和深度学习.pdf

聊天机器人的构建方法： 基于模板，检索和深度学习 刘升平 博士 资深专家, AI Labs, 云知声 概要 • 聊天机器人简介 • 基于模板的方法 • 基于检索的方法 • 基于深度学习的方法 广义的聊天机器人 个人助理 娱乐陪伴 Apple SIRI ，Google Now 小冰，小黄鸡 Amazon Echo ，小娜，度秘 在线客服 智能问答 JIMI Watson ，Wolfram Alpha 一个好的聊天机器人 • 应答正确 – 语法正确 – 语义一致：不是答非所问，不知所云 • 应答多样性 – 有趣的，而不是安全回答，如“好的”“嗯” • 个性表达一致 – 应答一致 – 语言风格一致 • 有上下文 – 能理解多轮对话中的上下文 • 有知性美 – 能回答一些知识性的问题，而不全是插科打诨 聊天机器人构造方法 • 基于模板 – 离线准备好一个对话模板库（问句模板和应答模板对），对用户 输入的句子，找到匹配的问句模板，然后按照对应的应答模板生 成应答 • 基于检索 – 离线准备好一个对话库（一问一答的聊天句对），对用户输入的 句子，通过在对话库中以搜索匹配的方式进行应答内容提取 • 基于深度学习 （序列到序列生成模型） – 离线准备好一个对话库（一问一答的聊天句对 ）并训练出模型， 对用户输入的句子，利用模型逐词或逐字生成回复。 概要 • 聊天机器人简介 • 基于模板的方法 • 基于检索的方法 • 基于深度学习的方法 模板方法 User ：你知道王思聪是谁吗 实例 Bot ： 你问国民老公干嘛，你要跟他借钱吗 ？ Q1 ：*王思聪是谁* 模板 A1 ：你问国民老公干嘛，你要跟他借钱吗 User ：你知道王思聪的生日吗 实例 Bot ： 主人，我和王思聪不是很熟哦 Q2 ：*@person*生日* （支持变量） 模板 A2 ：主人，我和@person不是很熟哦 模板匹配算法：预处理 • 对问句模板 – 分段：以通配符或变量名为切割符 • *王思聪是谁* ==》 {王思聪是谁} • *@person *生日* ==》 {@person,生日} – 构造模式字典 • Dict={王思聪是谁, @person,生日} – 建立倒排索引：段 - -》模板集合 • 王思聪是谁 --》 {Q1} • @person --》 {Q2} • 生日 --》 {Q2} • 对新的用户输入 – 做命名实体识别，把实体名称替换为变量名称 • 你知道王思聪的生日吗  你知道@person的生日吗 – 实现方法 • 基于字典 • 基于统计模型：如CRF • 实现工具： lingpipe ，CRF++ 模板匹配算法 （1 ）多模式匹配