针对SVD算法理解和应用误区教学实验设计.docVIP

针对SVD算法理解和应用误区教学实验设计 　　摘 要：针对人工智能和大数据处理学习中存在的误区，提出一组有关SVD方法的图像处理教学实验，具体阐述实验步骤并详细说明如何引导学生自行设计该类实验。 　　关键词：机器学习；SVD算法；实验设计；矩阵分解；去噪 　　0 引 言 　　随着大数据和人工智能的兴起，计算机教学及大学生科技创新活动越来越需要学生掌握好线性代数、微积分、概率论等数学工具。传统线性代数一课高度抽象，教学过程中几乎不联系信息学科进行举例和实验。这导致计算机专业的学生即使理论课程考核分数高、程序设计动手能力强，也仍然容易误用理论。在本文中，我们设计了几例SVD用于图像处理的实验，既能够帮助学生直观地理解SVD的作用，又能够避免对矩阵分解性质错误套用。 　　1 SVD算法在应用中的误区 　　1.1 SVD算法简介 　　SVD也叫奇异值分解，是将一个矩阵A分解为正交阵V、U和对角阵S，使得 　　A = Vn×n Sn×m Um×m* （1） 　　其中V和U的列向量分别是左右奇异向量，对角阵的对角元素是奇异值。SVD具有很多很好的性质，如可以对非方阵进行分解，大的奇异值和对应的奇异向量可以近似表达原矩阵。这些性质也给SVD带来了数据压缩、去噪、主成分分析等功能。 　　为了便于理解SVD在图像处理中的物理意义，我们将式（1）展开，可以得到 　　A=Vn×n Sn×m Um×m*=v1s1u1*+ v2s2u2*+…+ vkskuk* （2） 　　其中vi是V中的第i列，ui*是U*中的第i行，si是第i个奇异值，k是原始图像矩阵的秩。一个长度为n的列向量乘以一个长度为m的行向量，将会得到一个n×m矩阵，和原始图像尺寸一样。原图A可以看成是k个图像的叠加，随着k的增加，sk逐渐变小，对A的影响也越来越小。 　　叠加的反向操作也就是分解，因此一副图像可以分解为若干个图像的叠加，也就是说，SVD图像分解考查的是图像的线性无关组，并且把线性无关组规范化为正交矩阵，然后用对角阵中的元素表示每幅子图像占原始图像量化数值的比重。这和DCT、FFT以及DWT做信号分解和重构处理，有一定的相似之处，不同之处在于DCT等用标准的正交基去分解图像，SVD更看重图像自身隐含的正交基，以解释/表达/重构图像。 　　1.2 误区1：只看效果却不深刻理解原理，任意用SVD“去噪” 　　噪声的概念比较主观，最早是指声音中起干扰作用的部分，然后逐步泛化到信号、图像乃至任意类型的信息中起干扰作用的成分。SVD将数据转换成若干主要成分（大的奇异值对应的奇异向量）来线性组合进行表达；对于主要成分不能线性表达的微弱部分，在应用中?常忽略。图1是文献[1]举例对图像去噪的实验截图。 　　文献[1]用k=3去噪，效果非常理想：噪点得到很好的平滑，边缘得到很好的保留。这符合人类认识字符图案的先验知识，因为无论从行或者列来看，该图的清晰图像，仅存在3个线性无关向量，所以这样去噪具有两个前提条件：一个是该图像行列的线性相关性，恰好是图像内在的规律；另一个是该图像行列的线性无关性，恰好集中了图像的噪声。这也是很多机器学习算法的教学中只展示算法神奇的一面，而对算法局限性未作分析的问题所在。 　　1.3 误区2：SVD的“旋转不变性”被误解为图像块发生旋转前后，进行SVD分解具有稳定的成分 　　在很多图像处理算法和图像特征提取算法如SIFT[2]、ORB[3]中，我们希望算法对图像发生了旋转后的处理效果是鲁棒的。碰巧的是，很多图像处理算法的资料如文献[4]中，在图像特征提取这节介绍了SVD具有旋转不变性，并未指出两种旋转的本质区别，导致缺少实验验证的学生会将两种旋转不变性混淆为一个概念。我们将通过实验和理论分析对此概念给予澄清。 　　2 演示实验步骤 　　2.1 展示SVD的显著效果 　　根据SVD能将图像在行/列向量上的主成分提取出来抽象表达的特点，教师可设计一张行列重复度比较高同时加上随机噪声的图像，如图2（a），再使用SVD进行去噪实验，可以得到图2（b）和2（c）。实验的matlab关键代码如下： 　　[V S U] =svd（A）；%作SVD分解 　　k=1；v=V（：，1：k）；s=S（1：k，1：k）；u=U（：，1：k）；%提取主要成分 　　B=v*s*u；%重构 　　图2（a）中的白点可以看成对计算机视觉中标定棋盘角点的检测结果，我们模拟了角点的缺失和外部的干扰有缺失。从中可以看到，简单几行代码就能够将原图缺失的白点补上，多余的白点消除。这个实验数据不是凭空构想的，而是在相机棋盘标定中实际可能碰到的数据处理问题。通过实验，我们也看到k=2时效果并不那么好。这时候可以将问题留给学生分析，最多提示从线性相关的角度进行