阿里小蜜数字人互动决策的探索与落地.docxVIP

阿里小蜜数字人互动决策的探索与落地

祖新星

达摩院算法专家2021年10月

更多报告,请扫描二维码进入找报告小程序 添加微信lycj002邀请您进入更多行业分类群

群内每日分享更多深度报告！

个人介绍

祖新星（花名：贤人），平安科技机器人技术研究员，达摩院算法专家

研究方向：自然语言处理、虚拟人互动、情感计算、多模态算法

阿里小蜜机器阅读、数字人行为决策、数字人公益(NLP)、数字人多模态算法库等项目的算法负责人

Contents

Contents

目录

阿??蜜数字?发展史

如何从零构建?个数字?产品

清?出芙蓉，天然去雕饰——如何提升数字?表现?

海内存知?，天涯若?邻——如何提升虚拟?互动能?

?欲善其事，必先利其器——数字?多模态算法库-MMTK

总结

二次元数字人新时代

二次元数字人新时代

[介绍版]智能直播间及数字造星产品.pdf

天猫2021双11

天猫2021双11

为什么要做数字人

为什么要做数字人

真人直播 虚拟主播

真人直播

虚拟主播

头部流量集中门槛高、流动大难以长时间开播形式单一有限制易出错放不开

助力差异化竞争低成本的IP打造补充非高频时段1vN/1v1互动多样发挥稳定不怯场

阿里小蜜数字人发展史

阿里小蜜数字人发展史

2019-?屏数字?：?蜜数字?的前?，赋予了阿??蜜?个数字?形象，服务于新加坡地铁站

2019-?娲平台：?蜜数字?3D平台，让?蜜数字?有了多个形象，开始具备服务多个品牌的能?

2020-虚拟主播：?蜜数字??个?规模应?，每?服务于数百个直播间

2020-虚拟辅播：?蜜数字?在直播间为顾客提供快捷??与答疑服务

2020-直播吖：主打真?复刻、真?-虚拟?同框，为商家带来?场跨次元的直播

2021-IP多样屋：为数字?打造的IP平台

2021-数字?公益：以数字?技术为基础，持续关注并服务残障等弱势群体，在云栖?会上推出了双向?语翻译产品

如何从零构建一个数字人产品

如何从零构建一个数字人产品

诞生掌握身体

诞生

掌握身体

了解环境

自主意识

上岗工作

融会贯通

多样屋IP

实时渲染

TTS

嘴形驱动

?部表情驱动

肢体动作驱动

?本理解

视觉理解

多模态理解

个性化情感

?本/语?/动作的情感化?成

智能?为决策

虚拟主播

虚拟辅播

直播吖

虚拟云客服

数字?公益

数字?算法库MMTK

诞生 掌握身体 了解环境 自主意识 上岗工作 融会贯通

?娲平台

多样屋IP

实时渲染

TTS

嘴形驱动

?部表情驱动

肢体动作驱动

?本理解

视觉理解

多模态理解

个性化情感

?本/语?/动作的情感化?成

智能?为决策

虚拟主播

虚拟辅播

直播吖

虚拟云客服

数字?公益

数字?算法库MMTK

诞生?娲平台

诞生

?娲平台

掌握身体

了解环境

自主意识

上岗工作

虚拟主播

融会贯通

?本理解

视觉理解

多模态理解

数字?算法库MMTK

个性化情感

?本/语?/动作的情感化?成

智能?为决策

TTS

嘴形驱动

?部表情驱动

肢体动作驱动

实时渲染

虚拟辅播

直播吖

虚拟云客服

数字?公益

数字?要能感知、理解

数字?要能感知、理解?身?为

数字?要能感知、理解外部环境

数字??为要具有?主性、智能性

数字??为要具有?致性、多样性

缺少数字?算法完整解决?案

Contents

Contents

目录

阿??蜜数字?发展史

如何从零构建?个数字?产品

清?出芙蓉，天然去雕饰——如何提升数字?表现?

海内存知?，天涯若?邻——如何提升虚拟?互动能?

?欲善其事，必先利其器——数字?多模态算法库-MMTK

总结

数字人个性化情感分析

数字人个性化情感分析

?本情感分析（词级别）：愤怒、厌恶、轻蔑、恐惧、惊讶、快乐、悲伤

我们再来说一下适合的人群，这一点对于咱家的这款短外套也是非常重要的，学生气系十足，彰显日韩范儿

快乐

存在的问题

快乐 惊讶

快乐 快乐

离散情绪表达?有限，特别在数字?场景中，?法表现情感的过渡

情感属于?理学定义，不能完全涵盖业务中的所有场景

所有数字?的情感固定，表现单?

将情感连续化

将情感与意图结合性格调节

情感可参数调节诱发、积累、爆发、平复

情感可参数调节

诱发、积累、爆发、平复

情感连续可计算

情感连续可计算

数字人文本表现力-StyleTransfer

数字人文本表现力-StyleTransfer

信息抽取+Data

信息抽取+Data2Text整体方案

风格掩码预测与控制生成

风格化同义词替换与改写

TextStyleTransfer

基于信息抽取+Data2Text的?本?格转换

数字人声音表现力-风格化TTS

数字人声音表现力-风格化TTS

数字?对TTS能?的新要求

声?要能表达丰富的情