淘宝直播3D虚拟空间应用探索.pptxVIP

淘宝直播3D虚拟空间应用探索罗中柱阿里巴巴高级无线开发专家

目录业务背景介绍01什么是云渲染02总结与展望04云渲染技术的难点与挑战03

业务背景介绍

社交场景3D化ZEPETYO游戏内容多元化堡垒之夜开发平台和社区ROBLOX业界情况

2D直播淘宝直播从2D到3D内容表达形式的升级云端实时渲染3D直播

TaoLiveCity-未来城基于云渲染的首次电商场景大规模应用核心技术：云渲染技术3D制作技术数字人技术多人互动技术

什么是云渲染

云渲染以云计算为基础的渲染方式，本质为交互式在线视频流流送并非播放预先录制的视频片段，而是播放云端实时生成的渲染帧和音频用户可以通过键盘，鼠标，触摸事件控制画面渲染

云渲染优势轻量级即点即用摆脱超级APP包大小限制迭代速度快大场景云端强大的GPU算力专业级别的显卡可规模化伸缩游戏引擎PC端成熟的商业游戏引擎UnrealEngine

多媒体服务云渲染架构Web/PC/移动触控GRTN基于WebRTC低延时传输通道渲染WindowsPC解码拉流渲染UnrealEngine采集编码推流服务端云主机调度运维多人互动服务用户调度场景内容制作模型设计资产导入地形编辑灯光调整性能优化云计算基础设施边缘｜中心｜网络

云渲染技术的难点与挑战

核心挑战好看场景未来感如何保障高清画质？好逛单人自主漫游如何保障百毫秒延时？好玩多人互动如何支持万人在线？

好看：高清画质如何做到1080P30FPS渲染？网格体的数量，视野范围，光照计算实时渲染考验的是CPU和GPU的处理能力

GPUCPU渲染流水线场景数据：摄像机位置，视锥体，场景模型，光源粗粒度的剔除工作应用阶段几何阶段光栅化阶段渲染图元：点，线，三角面顶点作色器，逐顶点像光照绘制片元作色器，逐像素光照绘制绘制到屏幕命令缓冲区渲染模型A改变渲染状态渲染模型B改变渲染状态添加命令读取命令大量DrawCall会造成CPU的性能瓶颈实时光照和阴影会造成GPU的性能瓶颈

渲染优化-模型合批渲染模型A渲染模型B渲染模型CRAM 命令缓冲区渲染合并后的模型显存渲染模型A渲染模型B渲染模型CCPU在RAM把多个网格体合并成一个更大的网格，在一个DrawCall中完成渲染

渲染优化-LODLOD面数保留比例LOLOD2416050%LOD3208025%LOD4104012.5%原始模型LOD模型LevelofDetail

渲染优化-光照烘焙静态光照贴图体积光照贴图

好逛：单人漫游方向速度网络传输如何做到百毫秒操控延时？

延时拆分T0用户移动按钮手机端网络传输云渲染端T1信令传输T2收到操控指令T3T4T5渲染完成编码完成 组包发送画面传输T6T7 T8T9缓冲解码渲染画面

延时优化T0用户移动按钮网络传输云渲染端T1信令传输T2 T3 T4 T5画面传输T6T7 T8手机端阶段一：指令上行就近调度动态分辨率，码率dataChanneloverRTC缓冲解码渲染画面阶段二：渲染推流性能优化单帧渲染33msH265硬编无B帧T9阶段三：网络传输RTCoverUDP动态FECjitterBuffer，弱网抖动阶段四：画面上屏弱网策略H265硬解50ms收到操控指令 渲染完成编码完成 组包发送33ms 6ms 10ms10ms10ms50ms

互动服务AOI帧同步如何做到万人同时在线？好玩：多人同步用户分服位置更新扩散消息推送

LeaveenterMove步骤：用户发送位置变更：进入，移动，离开计算用户所在网格将用户挂载到网格位置下通知周边8个网格的用户，位置发生了变化123456归属网格多人同步-AOIAreaOfInterest

用户A：用户B：T0T1T2FrameFrameFrameT0T1T2Frame位置信息Frame位置信息Frame位置信息多人同步-帧同步在线人数：1W同步帧率：30帧/秒用户可见人数：20核心问题：网络抖动情况下，用户移动卡顿服务端数据同步压力大，上行QPS30W

用户移动的方向，速率一定时间窗口保持不变其他玩家的并没有必要精准同步降低了服务端数据同步量降低了云主机的数据计算开销多人同步-移动模拟FrameFrameFrameT0T2P（x0，y0）RenderThreadDataProcessThreadP（x1，y1）T1自动寻路

业务效果水晶岛店铺直播社交玩法舞台表演

总结与展望

010302好看更酷炫的内容形式，写实数字人更高清的画质，4K，60FPS好逛更低的建模成本，更多的内容生产者更高速的网络通道，5G/6G好玩更多的社交玩法更丰富的人物形象表达，捏脸，换装等能力