視音频编码技术.pptVIP

运动图象的三要素 帧分辨率（DVD图象： 704X576像素/帧） 像素（颜色的位深，真彩24位） 三原色（红绿篮RGB) 亮度Y、色度Cb,Cr 帧率(PAL:25帧/秒;NTSC:30帧/秒) 像素的数字化：色彩模型 RGB模型（红绿兰） 红：8bit 绿：8bit 兰：8bit RGB模型计算机上常用 YCrCb 模型（亮度加色差） 亮度： 8bit 红色差： 2bit（色差压缩） 兰色差： 2bit（色差压缩） YCrCb 模型更适合图形压缩 数字图象格式：帧分辨率 运动数字图象采集数码量 1帧4CIF(DVD)图象像素：704X576≌40万/帧 1像素（红绿蓝）： 3X8位编码=24bit码率 PAL制DVD图象帧率： 25帧/秒 每秒图象采集数码量： 40万/帧X 24bit X 25帧/秒=240000000bit/秒 DVD图象原始数码量：240Mbit/秒（ RGB模型） VCD图象原始数码量：60Mbit/秒 即使是VCD图象如不压缩编码也无法在2M专线（E1专线）上传输 关键技术 视频压缩（视频编码） 音频压缩（音频编码） 交换方式与控制方式 视频压缩（视频编码） 图象固有的统计规律 空间的相关性（空间冗余） 时间的相关性（时间冗余） 视觉、心理 录入和显示设备 变换编码： DCT 变换的复杂度 传统的 DCT 变换 DCT 需要实数运算，反变换中引起了精度的损失。 H.264、AVS 等使用了非常简单的4×4或8×8 整数变换： 对传统 DCT 非常精巧的逼近 变换矩阵只包含 +/-1 和 +/-2 计算只需要加法、减法和移位 结果显示仅有可以忽略不计的质量损失 (~0.02dB) 视频编码技术：帧内预测 动机：I 帧是自然图像，具有很强的空间相关 H.261、MPEG2 没有帧内预测，只有帧间预测 H.263++ 和 MPEG4 中，在变换域中根据相邻块对当前块的某些系数做预测 H.264 在空域内，依据与当前块相邻的象素，对当前块进行预测。 宏块或块基于先前编码的块进行预测： 先前编码的块位于当前块的上面和/或左面的块 亮度块有两类帧内预测方式： 9 种 4×4 帧内预测模式，用于纹理区域 4 种 16×16 帧内预测模式，用于平滑区域 色度样值只有 4 种 8×8 帧内预测模式，类似于亮度样值的 16×16帧内预测模式 AVS 同样思想： 5 种 8×8 帧内预测模式，用于纹理区域 4 种 8×8 帧内预测模式，用于平滑区域 视频编码技术：主要视频编码标准的技术比较 数字音频压缩技术 Digital Audio Compression 引言－数字音频的数据量 数字化是趋势 信息量非常大，高传输带宽或存储容量 5.1 声道环绕立体声： 6×48KHz×18bits＝５.184Mbit/s 语音压缩（音频编码） ITU-T G.711(1988) 语音PCM编码标准，64kbit/s G.722(1988) 7kHz音频编码标准，64kbit/s G.728(1992) LD-CELP语音编码标准，16kbit/s G.723.1 低速率语音编码建议，具有两种速率6.3kbit/s和5.3kbit/s。 声音压缩编码理论基础 冗余（Redundance) 信号一部分可由另一部分重建或另外表达形式简单说明，称为信号有冗余 去除冗余实现压缩编码 信号冗余是变化的，故不能产生恒定码流输出 不相关 （Irrelevance) 听觉不能感觉的那部分信号，它对声音信号的确定或音色和发音位置没有贡献 不相关信号部分不传输 利用掩蔽效应来掩盖量化失真 人耳听觉特性 人耳分辨能力 人耳对不同频段声音的敏感程度不同，通常对低频比对高频更敏感 人耳对语音信号的相位不敏感 人耳掩蔽效应 Masking Effect … 视频会议中音频编解码比较 音频编码性能评价（1） 编码速率（Kbps、Kb/s） 信号带宽：可懂度、自然度、透明度。 200~3400Hz、50~7000Hz、20~15000Hz、10~20000HZ。 采样速率：8KHz、16KHz、32KHz、44.1/48KHz…。 样值比特数（b/样点），总速率 R（kb/s）。 固定码率及可变码率。 重建语音质量 客观评价： 信噪比 分段信噪比 （一般15dB以上较好，20dB以上相当好） 音频编码性能评价（2） 编解码延时（ms） 公众网（25ms）、点对点、广播、存储 回声控制或回声抵消 正常通话秩序 与重建质量关系 算法复杂度 硬件、成本 浮点、定点 MIPS、RAM、ROM 其他 抗随机误码和突发误码能力 抗丢包