Web 前端技术在音视频编辑和智能创作方向的探索-孟谦.pdf

字节跳动-智能创作-AI平台

Web前端技术在音视频编辑

和智能创作方向的探索

分享人：孟谦

分享主题

本次演讲将介绍在字节-智能创作团队是如何解决音视频领域的技术问题，建设灵活的工具架构，应对设计师、用户多样的创作工

具的诉求，包括轨道编辑器、图文卡片模版、视频混剪工具等热门应用编辑体验。以及AIGC创作热潮下，前端程序员的技术成长路

径。

1.背景与趋势2.编辑工具应用案例3.工具族背后的系统设计4.总结和展望

Web浏览器中的底层能力提智能编辑工具的能力形态基于事务和多粒度封装的整体从web音视频到web多媒体

升对Web音视频技术的影响以及背后的业务模块划分工具系统架构，JS友好的特效AIGC创作工具的跨脚本语言

渲染引擎，智能混剪和分组算的范式迁移

法

01

背景与趋势

Keywords

平台能力和用户习惯

浏览器的能力演进

Web浏览器中的底层能力提升，WASM、IndexedDB、WebCodec、WebGL、WebGPU等，如何支撑音视频技演进

领域主要解决手段支持版本和时间宽兼容-解决手段调用系统能力

Chrome94FFMPE（C++）

音/视频编解码WebCodeCCPU+GPU

Safari16.4编译成WASM

Chrome86

大文件缓存OPFSIndexedDBFileIO

Safari15.2

Chrome56

文字绘制WebGL2CSSRenderGPU

Safari15

Chrome23

音视频直播WebRTCHLSCPU+GPU

Safari11

安全CSP2.0Chrome40-CPU

3D场景渲染WebGPUChrome113WebGL1/2GPU

Chrome57

工具高级交互WebAssemblySafari11-CPU

基础工具习惯和进阶

为传统的不同背景的使用者，提供不同的工具形态

工作类型