多媒体信息处理与传输技术作业.doc

多媒体信息处理与传输技术作业 目录 目录 - 2 - 作业1 - 3 - 一 JPEG概述 - 3 - 二 利用Matlab实现Jpeg图像压缩的具体步骤 - 3 - 三 最终结果 - 6 - 四 所用程序 - 7 - 作业2 - 22 - 一 JMF概述 - 22 - 二 JMF的主要特点 - 22 - 三 JMF的高层应用架构 - 22 - 四 JMF的基本模型 - 23 - 五 应用JMF开发视频应用 - 24 - 5.1配置开发环境 - 24 - 5.2用APPLET在浏览器中播放视频短片 - 24 - 5.3采集摄像头数据 - 24 - 5.4获取摄像头视频数据和麦克风音频数据 - 25 - 5.5保存摄像头数据为视频文件 - 26 - 5.6 捕获音频、视频数据为QuickTime格式的文件 - 26 - 5.7 发送实时媒体数据 - 27 - 5.8 接收实时视频数据 - 28 - 六 效果总结 - 28 - 七 参考文献 - 29 - 作业1 一 JPEG概述 JPEG（Joint Photographic Experts Group）是一种基于变换编码的帧内压缩编码技术，其基本步骤为： 1 准备图像 对图像进行模/数转换； 将图像分割成N*Ｎ pixels 的块； 对图像信息进行适当的整理和排序； 2 图像处理--信源编码 利用DCT进行由时域到频域的转换； 原则上不进行压缩，但应计算出压缩处理输入的频率系数； 3 量化 建立由实数到有理数的映射； 一般会有一些信息丢失； 4 熵编码 二 利用Matlab实现Jpeg图像压缩的具体步骤 数据分块 对图像进行编码前，将每个分量图像分割成不重叠的8×8像素块， 每一个8×8像素块称为一个数据单元（DU）。在彩色图像中， JPEG分别压缩图像的每个彩色分量。虽然JPEG可以压缩通常的红绿蓝分量，但在YCbCr空间的压缩效果会更好。这是因为人眼对色彩的变化不如对亮度的变化敏感，因而对色彩的编码可以比对亮度的编码粗糙些，这主要体现在不同的采样频率和量化精度上。因此，编码前一般先将图像从RGB空间转换到YCbCr空间，再把各分量图像分割成8×8数据块。 在对图像采样时，可以采用不同的采样频率，这种技术称为二次采样。由于亮度比色彩更重要，因而对Y分量的采样频率可高于对Cb、Cr的采样频率，这样有利于节省存储空间。常用的采样方案有YUV422和YUV411。把采样频率最低的分量图像中一个DU所对应的像区上覆盖的所有各分量上的DU按顺序编组为一个最小编码单元（MCU）。对灰度图像而言，只有一个Y分量，MCU就是一个数据单元。而对彩色图像而言，以4:1:1的采样方案为例，则一个MCU由4个Y分量的DU、1个Cb分量的DU和1个Cr分量的DU组成。 DCT处理 图像数据块分割后，即以MCU为单位顺序将DU进行二维离散余弦变换。对以无符号数表示的具有P位精度的输入数据， 在DCT前要减去2P-1，转换成有符号数，而在IDCT后，应加上2P-1，转换成无符号数。对每个8×8的数据块DU进行DCT后， 得到的64个系数代表了该图像块的频率成分，其中低频分量集中在左上角， 高频分量分布在右下角。系数矩阵左上角的叫做直流（DC）系数，它代表了该数据块的平均值，其余63个叫交流（AC）系数。 3、系数量化 在DCT处理中得到的64个系数中，低频分量包含了图像亮度等主要信息。在从空间域到频域的变换中，图像中的缓慢变化比快速变化更易引起人眼的注意， 所以在重建图像时，低频分量的重要性高于高频分量。因而在编码时可以忽略高频分量， 从而达到压缩的目的，这也是量化的根据和目的。 在JPEG标准中，用具有64个独立元素的量化表来规定DCT域中相应的64个系数的量化精度，使对某个系数的具体量化阶取决于人眼对该频率分量的视觉敏感程度。理论上，对不同的空间分辨率、数据精度等情况，应该有不同的量化表。不过，一般采用下图所示的量化表，可取得较好的视觉效果。之所以用两张量化表，是因为Y分量比Cb和Cr更重要些，因而对Y采用细量化，而对Cb和Cr采用粗量化。量化就是用DCT变换后的系数除以量化表中相对应的量化阶后四舍五入取整。由于量化表中左上角的值较小，而右下角的值较大， 因而起到了保持低频分量、 抑制高频分量的作用。 亮度量化表 色度量化表 Z型扫描 DCT系数量化后，构成一个稀疏矩阵，用Z（Zigzag）形扫描将其变成一维数列，将有利于熵编码。Z形扫描的顺序如图： DC系数编码 DC系数反映了一个8×8数据块的平均亮度，一般与相邻块有较大的相关性。JPEG对DC系数作差分编码，即用前一数据块的同一分量的DC系数作为当前块的预测值，再对当前块的实际值与预测值的差值作哈夫