多媒体技术与系统.pptx

9.1 多媒体关键技术 9.1.1 多媒体技术的定义、 特点和标准 1．多媒体技术的定义 ;（1）什么是媒体 媒体（media）是信息的表示、存储、传播所需的载体。它包括的内容广泛多样，从传输信号的通信介质到传播消息的新闻界，都可以称为媒体。 ; 媒体本身具有层次性和多样性，人们对媒体的分类一般是在人的感觉这个层次上，即根据人对外界信息的感知途径，把这个层次媒体分为3大类。 ① 视觉媒体占80%，比如图像、动画、视频等。 ② 听觉媒体占10%，比如声音信息。 ③ 触觉或其它媒体占10%，像触摸屏类的设备都是属于该类媒体。 ;（2）多媒体不是媒体的简单组合 （3）多媒体技术的发展是以计算机技术为基础 多媒体技术有如下定义： 多媒体技术是指把文本、图形、图像、声音、视频等多种媒体信息，通过计算机进行综合处理，使这些信息建立逻辑连接，并以多种形式表现出来的一体化技术。 ;2．多媒体技术的特点 多媒体技术的出现为现代社会的信息传播和交流提供了新的功能，带来了新的革命，与传统的电脑技术相比，它主要有如下特点。 （1）多样性 （2）交互性 （3）集成性 ;3．多媒体技术标准 （1）声音编码标准 随着通信技术和计算机技术的发展以及人们对声音传输质量要求的提高，原CCITT和ISO先后提出了一系列的有关音频编码的建议和标准，主要包括G．721、G．722、G．728、G．729以及MPEG音频标准。 ;（2）视频编码标准 国际标准认证（ISO）、国际电工委员会（IEC）和国际电信联盟（ITU）等国际组织制定了下列有关视频图像压缩编码的国际标准，即联合图片专家组（JPEG）标准、H．261标准、MPEG标准等。 ;9.1.2 视频压缩技术与芯片 1．视频图像压缩技术概述 数据压缩一般分为有损压缩和无损压缩两种。 无损压缩是指把压缩后的数据进行解压还原后，还原的数据与原来的数据完全相同。 有损压缩是指把压缩后的数据解压还原后，还原的数据与原来的数据有所差异，但这种差异不影响人们对原来信息的理解。 ;2．无损数据压缩技术简介 无损压缩技术一般用在要求重构信号与原始信号完全一致的场合。在多媒体数据压缩的过程中，去掉时间和空间冗余的数据一般都要通过无损压缩技术再次压缩。目前用得最多也最成熟的无损压缩编码技术包括：Huffman编码、算术编码、RLE编码和词典编码。;3．MPEG-1、MPEG-2视频压缩技术 （1）JPEG压缩技术 JPEG是对静态图像进行压缩的标准，它有两种压缩算法：一种是采用离散余弦变换（DCT）的有损压缩算法，另一种是采用以预测技术为基础的无损压缩算法。 图9.2 是JPEG压缩编码流程图。 ;; ①DCT变换 ② 量化 ③ 熵编码 图9．3是量化后AC系数重新进行Z字形编排示意图。 ;; 对直流系数进行DPCM编码和对交流系数进行Z字形编排和游程编码后，还使用Huffman编码进行进一步的压缩，整个熵编码的流程图见图9.4。 ;;（2）运动补偿算法 MPEG把视频图像分成三类。 ① 内图像I（Intra） 采用JPEG标准进行静态压缩。 ② 测图像P(Predicted) 用最近的前一个I图像或P图像进行预测得到，并可作为下一预测（B或P）的参照图像。; ③ 双向预测图像B (Bidirectionally Interpolated)，B图像既可以用前面的I或P图像预测，也可以用后面的I或P图像预测，还可使用最近的前后两个I或P图像从两个方面预测。 ; 运动补偿算法主要是通过消除P图像和B图像在时间上的冗余以提高压缩效率。预测图像P，采用运动补偿技术处理，主要是通过在参照图像（I或P）的基础上补偿预测图像P与参照图像（I或P）的变化来确定P。由于连续图像之间的变化较小，所以对这种变化差值编码，要比直接对该帧直接编码的数据量要小得多。图9.5所示的预测图像P压缩编码算法示意图。 ;;4．MPEG-4视频压缩技术 与MPEG-1、MPEG-2基于帧压缩方法不同，MPEG-4是基于对象的压缩标准，因此，它要求定义基于对象的场景描述方法。为分析和描述视频序列及其对象，MPEG-4编码采用了4层数据结构来表示。如图9．6所示。 ;;5．视频编码解码芯片 （1）VRP芯片 VRP（Video RISC Processor）是美国C-Cube生产的进行实时视频压缩应用的专用芯片。它的主要组成部分包括：一个32bit的60MHz的RISC信号处理器（其DSP的处理速度可达240M操作数/秒），指令和数据高速缓存、运动估计器、可变长编码器、DMA控制器以及主机和视频接口。VRP的内部结构如图9．7所示，它的指令集除了一般的通用处理指令外还具有专门用于视频压缩的数字信号