01.流媒体技术介绍.pptx

流媒体技术介绍 内容:编解码、传输、存储 作者:何欣 压缩编码 视频编码 解码渲染 视频存储 视频技术体系 视频编解码 1 媒体传输技术 2 媒体存储 3 图像与视频 图像：是人对视觉感知的物质再现。 三维自然场景：对象包括深度，纹理和亮度信息 二维图像：纹理和亮度信息 图像与视频 图像：是人对视觉感知的物质再现。三维自然场景对象包括深度，纹理和亮度信息；二维图像包括纹理和亮度信息 视频：连续的图像。视频由多幅图像构成，包含对象的运动信息，又称为运动图像。 数字视频 数字视频：自然场景空间和时间的数字采样表示。 空间采样 解析度（Resolution） 时间采样 帧率：帧/秒 空间采样 人类视觉系统HVS HVS：眼睛、神经、大脑 HVS特点： 对高频信息不敏感 对高对比度更敏感 对亮度信息比色度信息更敏感 对运动的信息更敏感 数字视频系统的设计应该考虑HVS的特点： 丢弃高频信息，只编码低频信息 提高边缘信息的主观质量 降低色度的解析度 对感兴趣区域（Region of Interesting，ROI）进行特殊处理 色彩空间 RGB色彩空间 三原色：红（R），绿（G），蓝（B）。 任何颜色都可以通过按一定比例混合三原色产生。 RGB色度空间 由RGB三原色组成 广泛用于BMP，TIFF，PPM等 每个色度成分通常用8bit表示[0,255] YUV色彩空间 YUV色彩空间： Y：亮度分量 UV：两个色度分量 YUV更好的反映HVS特点 RGB转化到YUV空间 亮度分量Y与三原色有如下关系： 经过大量实验后ITU-R给出了， YUV图像分量采样和图像格式 YUV图像分量采样 YUV图像可以根据HVS的特点，对色度分量下采样，可以降低视频数据量。 根据亮度和色度分量的采样比率，YUV图像通常有以下几种格式： 通用 的YUV图像格式 根据YUV图像的亮度分辨率定义图像格式 YUV444是完全未刪減最逼真的格式,即每4個Y,配4個U,4個V YUV422則是在UV上減半之格式,即每4個Y,配2個U,2個V YUV420則是在UV上減1/4之格式,即每4個Y,配1個U,1個V 帧和场图像 一帧图像包括两场——顶场，底场 逐行与隔行图像 逐行图像：一帧图像的两场在同一时间得到，ttop=tbot。 隔行图像：一帧图像的两场在不同时间得到， ttop≠tbot。 视频质量评价 视频质量评价 有损视频压缩使编解码图像不同，需要一种手段来评价解码图像的质量。 质量评价： 客观质量评价 主观质量评价 主观质量评价：用人的主观感知直接测量的方式。 优点： 符合人的主观感知 缺点： 不容易量化 受不确定因素影响，测量结果一般不可重复 测量代价高 客观质量评价：通过数学方法测量图像质量评价的方式。 优点： 可量化 测量结果可重复 测量简单 缺点： 不完全符合人的主观感知  为什么要进行视频压缩？ 未经压缩的数字视频的数据量巨大 存储困难:一张DVD只能存储几秒钟的未压缩数字视频。 传输困难:1兆的带宽传输一秒的数字电视视频需要大约4分钟 Frame Rate Frame Size Bits/pixel Bit-Rate(bps) File Size(Byte) 30 fps 176X144 pixels 12 9,123,840一分钟的视频数据 为什么可以压缩？ 去除冗余信息 空间冗余：图像相邻像素之间有较强的相关性 时间冗余：视频序列的相邻图像之间内容相似 编码冗余：不同像素值出现的概率不同 视觉冗余：人的视觉系统对某些细节不敏感 知识冗余：规律性的结构可由先验知识和背景知识得到 数据压缩分类 无损压缩（Lossless） 压缩前解压缩后图像完全一致X=X 压缩比低(2:1~3:1) 例如：Winzip，JPEG-LS 有损压缩（Lossy） 压缩前解压缩后图像不一致X≠X 压缩比高(10:1~20:1) 利用人的视觉系统的特性 例如：MPEG-2，H.264/AVC，AVS 压缩系统的组成 编码器中的关键技术  编解码中的关键技术 编解码器实现 编解码器的实现平台： 超大规模集成电路VLSI ASIC， FPGA 数字信号处理器DSP 软件 编解码器产品： 机顶盒 数字电视 摄像机 监控器 编解码器实现 编解码器的实现平台： 超大规模集成电路VLSI ASIC， FPGA 数字信号处理器DSP 软件 编解码器产品： 机顶盒 数字电视 摄像机 监控器 视频编码标准 编码标准作用： 兼容：不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码 高效：标准编解码器可以进行批量生产，节约成本。 主流的视频编码标准： MPEG-2 MPEG-4 Simple Profile H.264/AVC H.265/HEVC AVS VC