阿里小蜜智能问答技术演进最新完整版本.docxVIP

ML-Summit2021

张佶

阿里巴巴达摩院

阿里小蜜

ML-Summit智能问答技术演进

ML-Summit

张佶

阿里巴巴达摩院资深算法专家

张佶，阿里巴巴达摩院资深算法专家，致力于智能人机交互领域的算法研究和业务场景落地，积累了10年自然语言处理领域技术经验，担任阿里小蜜算法中台负责人，基于创新技术推动小蜜大规模智能服务业务的落地与发展。目前小蜜算法中台服务于阿里CCO客服、经济体80多个业务BU、数百万企业客户以?来自18个不同语言、130多个不同国家的全球客户。

主办方

发展历程

智能化

（2015年起）

面向阿里电商的智能客服

规模化

（2017年起）

消费者/商家/企业/政府

ML-Summit2021

多元化泛服务

（2020年起）智能客服+智能直播

阿里小蜜

阿里小蜜

阿里小蜜店小蜜智能客服超级小蜜经济体小蜜热线小蜜

阿里小蜜

店小蜜

智能客服

超级小蜜

经济体小蜜

热线小蜜

店小蜜

云小蜜

质培小蜜

企业小蜜智能直播

企业小蜜

智能直播

虚拟主播

智能辅播

……

n智能服务已全面进入多元化 的时代，小蜜聚焦 两个赛道，通过 的应用、创新的交互 降低服务 ，创造 。目前小蜜平台同时服务于阿里电商客服、阿里集团80多个业务BU（饿了么、盒马、淘宝直播等），数百万B端客户（商家、企业、政府机构等），以及来自20个不同语言、130多个国家的全球客户。

小蜜算法平台

ML-Summit2021

建设小蜜算法平台，以统一的算法架构、高效的复用性应对全域业务的快速增长。

超级小蜜经济体小蜜店小蜜云小蜜智能辅播

超级小蜜

经济体小蜜

店小蜜

云小蜜

智能辅播

钉钉小蜜

虚拟主播

质培小蜜

热线小蜜

NLUNLG预测平台以在线文本交互为核心的方式正在全面转变为视频、图像、语音、文本融合的交互方式，带来更为丰富的交互体验。

NLU

NLG

预测平台

MRCDeepQAKBQA多模态VQA多语言LiveQA从单语言交互变为 、跨文化

MRC

DeepQA

KBQA

多模态

VQA

多语言

LiveQA

ML-Summit2021

01

多模态技术演进及虚拟主播场景构建

多模态技术演进历程

ML-Summit2021

店小蜜大促规则

企业小蜜法律法规

飞猪小蜜旅游攻略

商品详情页、PDF说明书 虚拟主播

2017-2018以机器阅读理解为核心的时期 2019多模态阅读理解

2017-2018

以机器阅读理解为核心的时期

2019

多模态阅读理解VQA

2020

虚拟主播

围绕人货场重塑直播形态

围绕人货场重塑直播形态

AI驱动虚拟人直播+互动

通过播报内容背后的意图与情绪表达，动态插入特色口头禅、拟声词、小动作，驱动表情动作及声音表现，提升人物感染力与生动性今天的大促活动也太划算了吧！壳很酥脆，夹心也是入口即化哦属性/细节图智能剧本系统挖掘多种商品内容，自动生成合理、顺畅、专业的播报剧本

通过播报内容背后的意图与情绪表达，动态插入特色口头禅、拟声词、小动作，驱动表情动作及声音表现，提升人物感染力与生动性

今天的大促活动也太划算了吧！

壳很酥脆，夹心也是入口即化哦

属性/细节图

智能剧本系统

挖掘多种商品内容，自动生成合理、顺畅、专业的播报剧本

动态关联图片、视频及3D模型等多媒体内容，形成图文剧本，提升货品表现力

人物驱动

货品展现

ML-Summit2021

智能场控系统问答、闲聊暖场游戏发红包

智能场控系统

问答、闲聊

暖场

游戏

发红包

拉关注

场景交互

优秀主播面临的剧本创作挑战

ML-Summit2021

内容专业多样

能种草有共鸣视听呈现结合

学术定义—StoryTelling/StoryVisualization

ML-Summit2021

VisualStoryTelling

Dataset：VIST|

Ref:VisualStorytelling(NAACL2016)

StorytellingfromanImageStreamUsingSceneGraphs(AAAI2020)

StoryVisualization

Dataset:CLEVR-SV/Pororo-SV|

Ref:StoryGAN:ASequentialConditionalGANforStoryVisualization(CVPR2019)

虚拟主播剧本构建流程

ML-Summit2021

框架编排 素材构建 表达衔接 视觉展现

框架编排 素材构建 表达衔接 视觉展现

丰富的素材形态多渠道内容来源知识质量检测

丰富的素材形态

多渠道内容来源

知识质量检测

ML-