基于深度学习聊天机器人实现.pdf

专注于商业智能BI和大数据的垂直社区平台 自然语言实战之 基于深度学习聊天机器人的实现 kanny 项目背景介绍 • 基于行业的机器人 • Faq • 我有黑眼圈，那么适合使用什么样的眼霜 • Nlp支持搜索商品库 • 我想买一个冰箱，2扇门的，节能型，价格区间是在4000-5000之间。 知识库的要求 • 行业顾问的参与 • 收集的是客户最为关心的问题 本项目解决的问题 • 1. 短文本相似度匹配， 得分最高 • 2. 上下文理解， 实体丢失。（我脸上有痘痘，推荐用什么洗面奶 • 机器人回答：使用抗痘洗面奶 • 人：那多少钱呢？对皮肤有依赖性吗） • 3. 多问多答。（抗痘洗面奶多少钱，功效如何，对皮肤有依赖性吗？） 产品选型 • 1. • 百度api •脸上有青春痘，应该使用什么洗面奶？ 百度分词效果 • 邓颖 超生 前 所 居住 过的房子 想提供一个saas服务 • Python flask– web service restful api • 使用多线程技术 客户的问 题 QA 自己部署NLP • 1. 使用什么算法？ • 2. 如何去做检索产品库？ • Nosql –的确可以解决 属性的变化 • 问题是： 基于rowkey查询性能是最好的 • 问题就来了：如何实时交互？ • 在人际对话中往往是通过特征来进行搜索的 • 文本检索。 Index •数据库和 文本检索之间数据同步的问题 客 户 Nosql 后台 技术 Nlp 增加 解析 删除 修改 检索商品 商品库 全文检索 索引技术 NLP就业薪资 1、基于深度学习聊天机器人概括 1.1概况 聊天机器人现在非常热门，它是人们用自然语言能与机器交互的一种 方式，目的是让机器理解人类语言，达到更好的沟通交流目的。目前 聊天机器人在各个领域应用非常广泛，有强大的市场需求。如京东客 服机器人，淘宝聊天机器人，小冰娱乐聊天机器人等，还有包括特定 领域导购机器人，如软银公司为雀巢咖啡开发的咖啡推荐机器人等。 1.2 分类 特定领域机器人通用机器人 特定领域机器人即有特定的服务目标或者服务对象，如订餐机器人，导 购机器人，天气查询机器人，客服机器人…… 通用机器人即无需为特定领域服务，如微软小冰，小黄鸡，小Q…… 1、基于深度学习聊天机器人概括 1.3 几种技术模式 模板模式检索模式机器学习模式深度学习模式 模板模式：人工根据对话场景编辑问题和答案模板，如问句中出现“xx” 产品和“多少钱”两个关键字，那肯定是查询价格。Q: 检索模式：用户提前录入问答对在数据库中，当用户问道其中一个问题 就输出对应的答案，当用户问的问题在数据库没有一模一样的时候， 在数据库中找到语义最相近的问句，输出答案。如用ES作为检索框架。 机器学习模式：机器学习所有的问题都可以转化为数据分类/预测的问 题。如2014年牛津大学和谷歌开发一种state-of-art算法，把问答对 当做输入，转为特征向量，用户逻辑回归进行分类。训练得到逻辑回 归的参数。 1、基于深度学习