图像视频编码与表达的理论与方法-Read.PPT

网络流媒体 重要通知 期末考试安排 时间 6月13日（周五）上午8点～10点 地点 待定 课程作业提交时间 本周五（ 5月30日）晚上12点之前 请没有提交作业的同学注意截至时间 什么是网络流媒体？ 流媒体 以“流”的方式来传送和消费音视频等多媒体数据 类似于 自来水 … 传统的广播电视就是流媒体的一个很好的例子 网络流媒体 本课程主要关注基于互联网（IP网络）的流媒体技术和系统 从使用上目前尚未达到像自来水这样开关自如的程度 但是技术的发展应该朝这个方向努力 网络流媒体应用分类 流媒体点播 流化预编码存储的音视频媒体数据 流媒体广播 现场直播 流化实时采集编码的音视频媒体数据 文件轮播 将预编码存储的音视频媒体数据按照一定的播出时间进行编排，以播放列表的形式定时循环播出 实时交互式流媒体应用 视频电话 视频会议 … 网络流媒体的特性 端到端延时约束 流媒体点播 起始延时：10s 类VCR操作（例如拖动进度条）：1~2s 流媒体直播 可容忍几十秒的延时 交互式会话 150ms good 400ms OK 时序性约束 流媒体数据必须按照一定的顺序连续播放 一定程度的容错性 网络流媒体面临的问题 由流媒体数据及其承载这些数据的传输网络两方面的特性所决定 流媒体数据 数据量庞大，必须经过压缩编码后才能在网络上进行传输和存储 压缩的视频数据在解码时存在数据依赖性问题 帧内依赖 帧间依赖 I，P，B 压缩的视频数据，其码率可能随视频场景的变化而动态波动 实时性约束 网络流媒体面临的问题 IP网络 基于分组交换的无连接网络 IP分组在一系列的路由器之间进行存储转发 可能因为路由器缓冲区溢出而发生分组丢失 尽力而为 端到端带宽、时延等均不能保证 常用传输协议 UDP TCP 慢启动 拥塞避免 TCP友好 网络流媒体面临的问题 假定一 客户机与服务器之间具有足够大的带宽 客户机中具有足够大的缓存空间 则 任何时候用户提出播放请求时，相应的媒体内容都能够立即传递到客户机的缓存中来 从用户体验的角度能够达到流媒体的效果 但是 上述假设是不现实的 网络流媒体面临的问题 假定二 客户机与服务器之间的带宽有限 客户机中具有足够大的缓存空间 则 压缩音视频数据的解码需要一定的缓存空间和时延 IP网络中带宽的波动和随机丢包等也需要通过增加缓冲区来进行控制 但是 流媒体端到端的延时约束使得多余的缓存空间失去利用价值 网络流媒体面临的问题 假定三 客户机与服务器之间具有足够大的带宽 客户机中的缓存空间有限 则 流媒体播放的时序性约束使得需要进行传输中的流量控制，多余的带宽资源也失去了利用价值 网络流媒体面临的问题 目前的实际状况 客户机与服务器之间的带宽有限，且存在动态波动和丢包等现象 客户机中的缓存空间有限 压缩的视频数据在解码时存在数据依赖性问题 因此需要解决 拥塞控制 流量控制 差错控制 QoS自适应 音视频同步 … 需要设计 媒体编码、存储格式 媒体描述、传输、控制协议 … 网络流媒体系统结构 基本系统 流媒体服务器 流媒体播放器 IP 网络 扩展 在IP网络中，可加入一系列应用层中间系统，例如缓存、转码等等 细化 需规范的格式和协议 媒体编码格式 媒体传输协议 媒体描述协议 媒体会话控制协议 媒体存储格式 视频编码格式 视频编码 定义压缩视频码流的格式（语法和语义） 解码器和编码器必须就压缩视频码流的格式及其解释达成一致，因此需要制订相应的标准 主要视频编码标准 MPEG1、MPEG2、MPEG4、H.264、VC1、AVS… 视频编码格式 主流编码标准压缩视频码流的基本格式（以AVS为例） 不同语法元素之间通过起始码来进行分割和标识 起始码前缀（24比特，0x000001）＋起始码值（8bit） 视频编码格式 AVS起始码值 编码器的输出 编码器输出压缩视频码流的去向 以文件的形式进行存储 实时通过IP网络传输到client 网络传输 需要相应的传输层协议来支持流媒体的实时传输 RFC3550中定义了RTP协议（实时传输协议） 文件存储 可以将编码器的输出码流直接存储为文件，通常称为ES流文件 然而为了方便多种媒体的复用、快速检索/定位、流化等，还需要对这些码流进行封装，定义相应的文件封装和存储格式 流媒体网络传输 RFC3550中实际上定义了两个紧密相关、配合使用的协议 RTP（实时传输协议） 用于为音视频等具有实时特性的流媒体数据提供端对端传送服务的传输层协议，所提供服务主要包括：净载类型识别、序列号、时间戳和传输监控信息等。 RTCP（RTP控制协议） 与RTP配合使用 监控流媒体传输的服务质量 在一次流媒体会话的多个参与者之间传递信息 RTP协议头格式 RTP协议头