《多媒体技术》讲稿第3章2003.ppt

第3章 多媒体信息处理 本章主要讨论的问题： #1.5-2学时 视觉类媒体信息处理技术 听觉类媒体信息处理技术 多媒体信息处理技术的应用 (b)输入多幅图象而合成一幅图象输出； (c)对输入图象施行处理得出数值或符号、曲线等。 使用3×3象素邻域的处理 按某种顺序依次取出以(I,J)为中心的3×3邻域内象素，计算出3×3邻域中各象素的值与特意准备的由3×3象素形成的数组(称为加权矩阵)相对应的元素值的乘积，再求9个积之和。如下图所示，取值范围是I=2～(m -1),J=2～(N-1)范围。 加权矩阵 邻域处理计算实例 计算结果： 12*0.1+32*0.1+10*0.2+24*0.2+12*0.1+15*0.3+10*0.3+20*0.2+30*0.5=？ 赋值给中心点。 3.1.3 串行处理和并行处理 串行处理(Sequential operation)，是象素的操作顺序将会影响处理结果的一种处理形式。 串行处理象素的操作有时按照预先规定的顺序，有的则一边处理一边决定下一个象素，如跟踪处理。 串行处理有如下特点： ①用输入图象IP的第(i,j)象素的邻域象素值以及在求出输出图象中的OP(I,J)以前的处理结果的值，共同计算出输出图象OP(I,J)的值。 ②用相应的处理算法，按一定顺序依次进行计算。它不能同时并行计算相对于不同(I,J)的输出象素OP(I,J)的值。即输出图象OP(I,J)的值依赖于扫描方式。 在串行处理中，可以共用输入图象用数组和输出图象用数组从而节约图象数据占用的存储区域. 串行处理的实例有:对区域的标号分配，图形收缩，距离变换等。 并行处理(parallel operation)是对图象内各象素可同时进行相同形式运算的处理。如上述3×3邻域加权求积和算法。 这种处理的特征是： ①输出图象OP(I,J)的值，只用输入图象的第(i,j)象素即IP(I,J)的邻域象素值进行计算。 ②相对于不同(I,J)的输出图象OP(I,J)的值可以互相独立地进行计算。 3.1.4迭代处理 反复施行某种运算至满足给定的条件，从而得到输出图象的处理方式叫迭代处理(iterative operation)。如下图所示。 例1：迭代细化 上图的迭代处理，对IP反复应用收缩算法，直至得到线宽为1的象素的中心线。 例2：用迭代函数生新奇图案 chaos可看作一个确定方程无限迭代的结果，用于计算机图形便提出了基于一元复变函数迭代的图案产生方法。 对于每次迭代结果，图案将不断变化，越来越复杂。改变参数图案则不同，进行函数改进得到各种新奇图案。 在迭代处理中有迭代次数依赖于输入图象和不依赖输入图象的两种情况，分别称为数据相关和数据无关。 3.1.5跟踪处理(tracking operation) 执行一个顺序跟踪处理的过程，称之为跟踪处理，它包括： ①先选择满足适当条件的象素作为起始点。 ②求出起始点结果并搜索满足条件的下一点，进行规定的处理。 ③判断是继续搜索处理，还是终止处理，见下图。 跟踪处理的特点： ①对该点象素的处理，依赖于这以前的处理结果，即依赖于起始象素的位置。 ②可以 根据在此以前的处理结果来限定处理范围，可以避免徒劳的处理。 ③用于线条跟踪与检测等。 跟踪处理的例子： 计算分叉线总长度 找到起点，按索下一点，逐次累加； 记住分叉点坐标，先走一个方向，再返回到分叉走另一方面。 3.1.6窗口处理和模板处理 Window or mask operation 图象处理中既可以对整个画面进行处理，也可对画面中特定的部位(部份)或称感兴趣(ROI)进行处理。 窗口处理 在图象中选定一个区域(例如一个矩形区域)来进行处理的形式叫窗口处理。 只处理用数组IW所指定的矩形区域，其中IW(1)、IW(2)指定左上角，IW(3)、IW(4)为矩形区域横、纵方向的象素数。 由此派生出移动窗口与移动交迭窗口。 模板处理 希望对输入图象IP的任意形状区域进行处理，并预先准备一个和它相同形状的二维数组，作为参照物，IP中的任意对应区域一面参照一面处理，这种处理称之为模板处理。如下图。 窗口处理与模板处理不同之处在于后者必须预备一个模板平面。 3.2动态图象、图形处理 3.2.1概述 利用人眼的视觉惰性作用：对亮度信号保持感觉1/20～1/10秒 序列图象、图形(动画)(25～30帧/S)形成运动感觉 特点： (1)时间连续、适于表示“过程” (2)逐帧显示、属于离散型时基媒体 (3)数据量大，需要压缩编码 (4)相关性强，这是动态的基础，也是压缩的条件 (5)实时性强 3.2.2帧间预测编码 三维预测：利用本行前几个取样值，前几行相邻取样值，还有上一帧或前几帧取样值等，电视信号相