小Q机器人语义测试分享-黄俊.pptxVIP

小Q机器人语义测试分享 2018 深圳·测试沙龙 The Test Salon 测试前瞻 2 自我介绍 2018 深圳·测试沙龙 The Test Salon 测试前瞻 黄俊，2014年入职腾讯，目前是小Q机器人、微云、abcmouse等项目的测试负责人。 近期主要关注人工智能和在线教育等创新产品的测试 3 目录 2018 深圳·测试沙龙 The Test Salon 测试前瞻 背景 语义测试开展 --发布前语义数据挖掘 --提升开发测试效率 --发布后外网数据反哺 总结 4 背景 – 小Q机器人是智能音箱 2018 深圳·测试沙龙 The Test Salon 测试前瞻 echo 美国市场占有70% 1000万销量 天猫精灵、小爱 100万销量 腾讯：腾讯听听、小Q机器人 阿里：天猫精灵 小米：小爱 京东科大讯飞：叮咚 亚马逊：echo google：google home 5 背景 –智能硬件项目测试体系 2018 深圳·测试沙龙 The Test Salon 测试前瞻 ROM自动化 语义测试 语音测试 全流程自动化 核心硬件测试 全链路系统 UI+声音自动化稳定性测试 外网数据标注 供应商测试流程 驱动功能测试 APM,codedog… 小Q测试平台 6 背景 –语义测试 2018 深圳·测试沙龙 The Test Salon 测试前瞻 背景： 智能音箱中最核心的能力之一 – 产品大脑 负例： 今天的咖啡很好喝 我帅不帅 语义解析模型 意图 槽位 召回率 精确率 F值 正例： 播放华晨宇的齐天 我要听歌 想听周杰伦稻香 测试数据的多少以及是否足够全面决定了语义模型被检验的是否足够充分 痛点 – 缺少语义数据： 小Q还没有外网数据 行业没有可借鉴的数据 问法太泛化 7 目录 2018 深圳·测试沙龙 The Test Salon 测试前瞻 背景 语义测试开展 --发布前语义数据挖掘 --提升开发测试效率 --发布后外网数据反哺 总结 8 语义测试开展 2018 深圳·测试沙龙 The Test Salon 测试前瞻 发布前 发布后 如何构造语义测试数据 如何利用外网数据反哺测试数据 9 语义测试开展–发布前解决思路 2018 深圳·测试沙龙 The Test Salon 测试前瞻 问法 人 产品 实现 人说话的特点 产品特性 问法的特点 开发实现 人喜欢怎么来说 人说话过程中的一些特点 语音解析的错误 敏感问题 相同意思不同问法，问法的泛化 英文、数字等 模版+实体 Ner模型 。。。 思考扩充语义测试数据 10 语义测试开展 - 构造语义测试数据的四个阶段 2018 深圳·测试沙龙 The Test Salon 测试前瞻 模版库+实体库自动化生成数据 热门实体库更新 针对人说话特点以及音箱场景做专项定制化数据增长 同义词替代增长测试数据 训练ngram来判断语句是否通顺 3. 提升ngram模型能力 人工脑暴数据 1 2 3 4 11 语义测试开展 - 构造语义测试数据阶段1 2018 深圳·测试沙龙 The Test Salon 测试前瞻 人工脑暴阶段 项目组脑暴 场景调查问卷 – 众测 空间宠物聊天 12 语义测试开展 - 构造语义测试数据阶段2 2018 深圳·测试沙龙 The Test Salon 测试前瞻 播放周杰伦的稻香 播放刘德华的忘情水 = 播放歌手的歌曲 模版库 播放歌手的歌曲 多人脑暴数据后，数据很乱。。。 播放周杰伦的稻香 播放刘德华的忘情水 播放刘欢的好汉歌 实体库 华晨宇 齐天 周杰伦 告白气球 2K+数据 用例 播放华晨宇的齐天 。。。 13 语义测试开展 - 构造语义测试数据阶段2 2018 深圳·测试沙龙 The Test Salon 测试前瞻 音乐热歌、新歌（歌手） FM热门新节目更新 敏感词 实体数据拉取 6W+数据 内部API 外网爬虫 实体库 FM节目 FM专辑 音乐新歌 音乐热歌 14 语义测试开展 - 构造语义测试数据阶段3 2018 深圳·测试沙龙 The Test Salon 测试前瞻 找了一些同事试用，结果发现： 我要听叶文有话说 -- （叶文有话要说） 我想听逻辑思维 -- （罗辑思维） 这个那个播放首歌 （这个那个） 测试类型 例子 同音字替代 我要听杨洋的三生三世  我要听洋洋的三生三世 实体少字 来一首隐形的翅膀  来一首隐形翅膀 模糊音替代 我要听刘德华的歌  我要听牛德华的歌 干扰语气词 给我播首周杰伦的歌  那个给我播首周杰伦的歌 重叠字 我想听范玮琪的歌  我想听范范范玮琪的歌 实体颠倒 来一首向天再借五百年  来一首向天借再五百年 实体含英文、数字等 谢谢你的爱1999，我