附录--多媒体处理技术相关知识 - 宁波大学.pptVIP

多媒体处理技术相关知识 主要内容 数字图像的原始文件格式 图像浏览工具YUVView 文件读取 视频解码流程 基于DirectShow的多媒体编程 数字图像的原始文件格式 RGB格式 bmp文件 图像处理 YUV格式 yuv文件 视频处理 bmp文件 //14bytes typedefstructtagBITMAPFILEHEADER{ WORD bfType; DWORD bfSize; WORD bfReserved1; WORD bfReserved2; DWORD bfOffBits; } BITMAPFILEHEADER; //40bytes typedef struct tagBITMAPINFOHEADER{ DWORD biSize; LONG biWidth; LONG biHeight; WORD biPlanes; WORD biBitCount DWORD biCompression; DWORD biSizeImage; LONG biXPelsPerMeter; LONG biYPelsPerMeter; DWORD biClrUsed; DWORD biClrImportant; } BITMAPINFOHEADER; typedef struct tagRGBQUAD{ BYTE rgbBlue; //该颜色的蓝色分量 BYTE rgbGreen; //该颜色的绿色分量 BYTE rgbRed; //该颜色的红色分量 BYTE rgbReserved; //保留值 } RGBQUAD; yuv文件 yuv文件读取 块匹配准则 三步法（TSS） 视频解码流程 * 信息科学与工程学院 宁波大学 Ningbo University * 实际的位图数据ImageData 调色板Palette 位图信息头BITMAPINFOHEADER 位图文件头BITMAPFILEHEADER 调色板Palette是对那些需要调色板的位图文件而言的。24位和32位是不需要调色板的。 色度V数据 色度U数据 亮度Y数据 浏览工具YUVviewer：完成YUV?RGB转换 fileId = fopen(fileName, r); subSampleMat = [1, 1; 1, 1]; % read Y component buf = fread(fileId, width * height, uchar); imgYuv(:, :, 1) = reshape(buf, width, height).; % reshape % read U component buf = fread(fileId, width / 2 * height / 2, uchar); imgYuv(:, :, 2) = kron(reshape(buf, width / 2, height / 2)., subSampleMat); % read V component buf = fread(fileId, width / 2 * height / 2, uchar); imgYuv(:, :, 3) = kron(reshape(buf, width / 2, height / 2)., subSampleMat); % reshape and upsample % convert YUV to RGB imgRgb = reshape(convertYuvToRgb(reshape(imgYuv, height * width, 3)), height, width, 3); fclose(fileId); imshow(imgRgb); dm dm dm dm N M 位移矢量 前一帧中的 最佳匹配子块 前一帧中的 搜索区域 当前帧中 的子块 运动估计中的块匹配方法 搜索范围SR： SR=(M+2dm)×(N+2dm) 两个重要问题： 1. 匹配准则 2. 搜索方法 （1）归一化相关函数NCCF (Normalized Cross-Correction Function) (1) （2）平均均方误差函数MSD (Mean Square Difference) (2) （3）平均绝对差函数MAD (Mean Absolute Difference) (3) 通常使用求和绝对差SAD（Sum of Absolut Difference)代替MAD，即 搜索方法： 1. 全搜索 2. 二维对数法 3. 三步法 4. 共轭方向法 5. 正交搜索法 i-6 i-5 i-4 i-3 i-2 i-1 i i+1 i+2 i+3 i+4 i+5 i+