QCon北京郭再荣 移动端音视频应用优化之道概要1.pptx

移动端音视频应用优化之道 网易杭州研究院 / 郭再荣 音视频技术专家 背景 音视频处理过程 端到端优化策略 总结 背景 网络带宽 智能硬件 市场需求 视频门户、娱乐直播、游戏直播，在线教育、远程医疗， 远程监控，企业协作，社交应用等各行业存在巨大需求。 网络带宽的不断提速，同时网络资费相应地降低， 视频上行和下行所需的带宽和流量已经达到要求。 智能硬件设备的高速发展，机器性能越来越强劲， 让移动端的视频应用井喷爆发，真正变得唾手可得。 音视频处理过程（推流端） 预处理 编码 采集 音频，视频 麦克风，摄像头，桌面。 协议：RTMP，HLS，HTTP，RTP 发送 降噪，回声抑制，混音 美颜滤镜，水印。 H.264，VP8，AAC，Speex 格式：FLV，MP4，TS 音视频处理过程（播放端） 解码 后处理 接收 协议：RTMP，HLS，HTTP，RTP 拉伸，裁剪，走马灯 显示 格式：FLV，MP4，TS H.264，VP8，AAC，Speex 色彩增强，音量增强 音视频处理流程图 音视频采集SDK ( iOS/Android/PC ) 流媒体CDN 跨平台视频播放器 （iOS/Android/Web） 视频直播 视频点播 视频存储服务 （NOS） 直播录制集群 （NTS） 媒体转码集群 （NTS） 视频点播集群 （VOD） 跨平台视频播放器( iOS/Android/Web ) 流媒体CDN 推流 ( RTMP ) 拉流 (RTMP/HLS/HTTP) HTTP方式 文件上传 视频转码 录制视频上传 视频点播 本地录像上传 直播流录制 拉流 (HTTP/HLS) 点播回源 视频云直播框架 流媒体CDN平台 播放器SDK 应用管理服务器 视频云管理服务器 视频云应用服务器 视频云管理Web端 网易云计算认证平台 推流( RTMP ) 拉流 (RTMP/HLS/HTTP) 视频云服务端 客户端App ( iOS/Android /PC /Web) 推流端SDK 视频云点播框架 云存储服务 应用管理服务器 视频云管理服务器 视频云应用服务器 视频云管理Web端 网易云计算认证平台 上传( HTTP ) 拉流 (RTMP/HLS /HTTP) 视频云服务端 客户端App ( iOS/Android /PC /Web) 上传SDK CDN分发平台 云转码系统 视频点播服务 视频云基础服务 播放器SDK 端到端的优化策略 编码模式 码率控制 视频标准 H.264，HEVC/H.265，VP8/9 通用性，复杂度，性能，清晰度，码率 低延时，快速启动，主动追赶，适合直播 抗抖动，加大缓冲，预加载流，适合点播 缓冲策略 软件：兼容性好，性能低，耗电 硬件：性能高，适配性差，省电 码率控制算法优化，确保码率波动小。 控制GOP尺寸，避免码率出现频繁尖峰。 端到端的优化策略 实时统计 Qos调整 链路优化 根据用户出口IP，采用中心调度策略， 选择合适的网络节点，找到最优链路。 网络信息，实时网络状况，机器信息，卡顿情况，帧率，码率，分别率。 实时监控推流数据，采用快降慢升策略， 动态调整帧率，码率，分辨率，缓冲区。 总结 清晰 模糊 流畅 卡顿 折衷策略 动态平衡