人工智能应用基础 课件 项目4 计算机视觉.pptx

;技术篇

项目4?计算机视觉;01;;;;我们经常拍摄或者看到的图像往往都是具有多个类别的物体，当一张图像中包含多个类别的很多物体时问题就变得复杂了，小明的任务可以看作是目标检测，找出图像中不同物体的位置并判断其类别。

要掌握以上各种图像识别的知识，需要学习以下内容：;;识别动物类别

假设有一个做好标记的动物图像数据集，目的是要训练一个神经网络来识别出不同动物的类别。经过前面的学习，我们可以设计一个深层神经网络。数据集中图片的像素是100×100，为了能输入到神经网络中，将图片中的每列像素依次头尾拼接成一个1×10000的一维数组，刚好对应输入层的10000个神经元。;模式检测

对于这个模型中的神经元而言，它要做的就是检测图像里面有没有出现一些特别重要的模式（特征），这些模式代表了某种动物的特征。;特征提取

人类在判断一个物体的时候，往往也是抓最重要的特征，看到这些特征以后，就会直觉地看到了某种物体。对于机器而言，这是一个有效的判断图像中物体的方法，这个过程就是前面章节所说的特征提取。;深层特征提取

各个层检测的特征并不是一次就能识别出鸟嘴这样具有抽象意义的高级特征的，而是随着网络的深度逐渐从简单的边缘和颜色信息过渡到更复杂的形状和物体特征。;人工神经网络的缺陷

在神经网络中，我们用每一层的一个神经元来判断某种特定模式是否出现，也许并不需要每个神经元都去看一张完整的图像。;人工神经网络的缺陷

神经元接受的输入是整个图像，但它自己的感受范围是有限的，只能检测出一定区域的鸟嘴。因此，出现在不同区域的同一个模式，可能需要多个神经元。而且，图像输入到神经网络中却需要被拉成一条直线，这也破坏了图像本身的平面结构，可能会造成信息损失。;卷积神经网络

一个新的神经网络结构，叫做卷积神经网络（ConvolutionalNeuralNetwork，CNN），是一种现在非常典型的网络架构，常用于图像识别任务中。;卷积神经网络

整个网络分为两部分，前面由多个卷积层组成，用于接收输入的图像，并对图像中的特征进行提取与转换，后面一部分是由全连接层组成，跟我们前文介绍的神经网络结构相同，用于接收卷积层提取的特征，并输出分类的结果;卷积神经网络内部组成

在输入层，神经元组成的平面必须与输入的图像大小保持一致才能完整的接收图像的每个像素。在层与层的连接部分，神经元没有与上一层的所有神经元保持连接，而是采用了部分连接，这就是我们分析的，图像中并不是所有区域都存在我们要提取的特征，不需要将所有神经元都进行连接，这样可以减少模型的参数。;卷积操作

输入一张彩色图片，在卷积层，由于只有部分连接，因此该层上的一个神经元只能检测到输入图片的一个有限区域，并通过一个叫做卷积的操作来计算这个区域有没有相关的特征，如果有的话这个神经元就会被激活，并传递到下一层的神经元继续检测;滑动扫描

神经元会按从左到右、从上到下的顺序依次检测对应的区域，直到图片中所有区域都检测完毕，这种检测的方式叫做滑动扫描。扫描过程中，如果某个神经元的扫描区域内存在待检测的特征，该神经元就会被激活。;垃圾分类

我们的生活垃圾种类繁多，自己在分类时经常遇到不易分类的垃圾，很多人会产生选择困难，于是可以让卷积神经网络来对垃圾图片自动分类。

数据集总共5万张图片的垃圾分类数据集，给这些图片标记出5个类别，分别是硬纸、玻璃、金属、报纸和塑料，每个类别有1万张图片。;垃圾分类

模型首先用训练集进行训练，训练完成后利用测试集评价模型效果。整体结构依然是先用卷积层提取特征，然后将提取的特征输入到全连接神经网络进行分类，最后的输出层有5个神经元，分别对应垃圾的5个类别。;螺母对比

除了对单张图片分类，我们还可以使用孪生网络，同时对两张图片进行对比。孪生网络包含了两个在结构上一模一样的卷积模块，它们是卷积神经网络去掉最后的全连接层后留下的卷积层;目标检测

利用卷积神经网络的分类能力，将输入的图像划分出多个窗口，针对每个窗口进行特征提取，识别出窗口中内容的类别。在输出端增加一个全连接层分类器，用于输出目标的位置信息，位置可以表示为框住物体的矩形窗口的坐标，这样我们的模型就能同时找出图像中某一区域物体的类别和位置了。;目标检测

我们不知道图像中哪些位置会有物体，也不知道物体的大小，所以必须在图像中用不同大小、不同长宽比的候选框在整幅图像上进行穷尽式的扫描，有时候多个窗口会重叠找出同一个物体，每个窗口都会被卷积神经网络进行分类并输出坐标，这种情况需要将输出的多个窗口根据坐标合并成一个窗口。;缺陷检测

在工业自动化和质量控制领域，物体表面缺陷检测技术扮演着至关重要的角色。我们可以利用卷积神经网络分类和定位各种器件的表面缺陷，如划痕、凹陷、裂纹等。;缺陷检测

先是收集数据并做标记，目标检测的数据需要做两个标记，一个是将图像中