复习43596.pptVIP

复习 第一章 多媒体通信综述 一、多媒体的基本概念 媒体、多媒体定义 “多”的多重含义：多种媒体、多种技术、多种设备。 媒体元素：文本、图形、图象、声音。 图象的基本属性（分辨率、象素深度、彩色类型）和分类（矢量图与位图，灰度图与彩色图，静止图象与运动图象） 彩色的三基色原理（RGB）和传输信号（Y,Cr,Cb） 二、ITU-T对媒体的分类 感觉媒体—— 表示媒体 显示媒体 存储媒体 传输媒体 媒体以是否与时间有关可分连续媒体（音频、视频）和静态媒体（图形、文本） 三、多媒体通信的基本特征 集成性 交互性 同步性 注意：多媒体通信的特征与多媒体特点是不同的。 四、多媒体通信的关键技术 压缩编码技术 媒体同步技术 终端技术 网络技术 存储技术 数据库技术 五、多媒体通信系统组成 通信终端 通信网络 应用服务器 六、多媒体业务分类 交谈型业务：电视会议 检索型业务：视频点播(VOD) 采集型业务：监控系统 消息型业务：多媒体邮件 第二章 多媒体信号处理 §2-1 多媒体数据压缩原理 一、数据压缩基本概念 1.为什么要压缩？ 2.为什么数据可以压缩 3.数据压缩的分类（有损和无损） 4.数据压缩技术指标（压缩比、编解码速率和算法、恢复效果） 二、常见的编码 统计编码：行程编码/霍夫曼编码/算术编码 预测编码：DPCM/ADPCM 子带编码 变换编码：DTC变换/小波变换 矢量量化VQ编码 其它编码：/模型编码/分形编码/神经网络编码 §2-2音频媒体压缩编码标准与技术 一、音频基础 1.语音信号和音频信号 2.语音压缩编码的分类（波形、参量、混合编码） 3.音频压缩编码技术—感知编码 3.常见的音频文件格式 二、音频信息压缩编码标准体系 ITU-T的G.7XX系列（语音编码） 波形编码及以参量编码为基础的混合编码 ISO的MPEG-X Audio系列（音频编码） 以感知掩蔽特性为模型的子带编码 MPEG-1 Audio(MP1,MP2,MP3)/ MPEG-2 Audio/ MPEG-2 AAC/ MPEG-4 Audio 三、G.7XX压缩编码 1.参量编码----线性预测编码LPC 2.混合编码 基本原理：在LPC基础上，按波形编码的方法产生激励预测误差序列，以提高语音质量。 多脉冲线性预测编码MP-LPC、规则脉冲激励-长时线性预测编码RPE-LTP、码本激励线性预测CELP、代数码本激励线性预测ACELP、共轭代数码本激励线性预测CS-ACELP 四、MPEG-X音频压缩编码 MPEG-1:对音频信号以感知掩蔽特性为模型的子带编码。 MP1,MP2,MP3速率及质量的比较 MPEG-2和MPEG-2AAC :感知编码 MPEG-X音频编码应用于音像制品、数字电视及多媒体应用。 §2-3 视频压缩编码标准与技术 一、视频基础 1.人的视觉特性：灵敏度、分辨率、视觉惰性与闪烁 2.彩色电视： 彩色电视工作原理、彩色电视制式： NTSC制、PAL制、SECAM制 3.数字视频处理： 图象子采样（亮色比）：4:2:2、4:1:1、4:2:0、4:4:4 （各种格式亮度与色差信号的抽样频率关系） 视频采样格式（视频编码格式）：通用中间格式CIF、标准交换格式SIF CIF标准 SIF标准 二、视频压缩编码标准体系 1.ITU-T标准：H.261、H.262（MPEG-2）、H.263、H.264（MPEG-4第10部分） 2.ISO标准： JPEG、MPEG 3.中国标准： AVS 三、JPEG标准 JPEG的关键技术：分割、DCT变换、量化、熵编码等。 编码步骤 1、分块并数字化 2、DCT 变换 3、量化 4、扫描 5、交流行程编码、直流预测编码 6、熵编码 JPEG2000标准 以小波变换、算术编码为主的多解析编码方式。 能实现渐进传输——先传输图像的轮廓，然后逐步传输数据，不断提高图像质量，让图象由朦胧到清晰显示。 支持 “感兴趣区域”特性——可以任意指定图像上感兴趣区域的压缩质量，还可以选择指定的部份先解压缩。 压缩率比 JPEG 高约 30%。 四、 H.26X视频编码标准 ITU-T的视频编码标准包括H.261、H.262、H.263、H.264，主要应用于实时视频通信领域，如会议电视. 其压缩技术包含帧内编码和帧间编码。 去除空间冗余的压缩编码技术称为帧内编码(I帧) 去除时间冗余的压缩编码技术称为帧间编码(P帧、B帧) 帧内编码的主要技术是变换编码 帧间编码的主要技术是运动补偿预测编码。 运动补偿预测编码 通过运动估计的方法补偿运动物体当前帧的预测值，称为具有运动补偿的预测编码。 基本原理： 1、将图象分割成若干个子块，通过运动估计得到每个子块的位移矢量； 2、利用位移矢量计算经运动补偿后的预测值