第10章图像处理.pptxVIP

第10章 图像处理10.1 机器学习的图像处理简介10.2 图像物体识别10.3 图片验证码识别10.4 图像物体检测10.5 看图说话10.1 机器学习的图像处理简介使用机器学习进行图像处理已经成功的应用到了图像修复、物体识别、物体检测、图像问答、人脸识别等领域。10.1.1 图像修复图像修复(image inpainting)：图像修复通俗来讲就是一张照片上被挖了一个洞，利用照片中的其他信息来将这个洞画上的过程。是图像编辑和图像生成领域的一个典型问题。对于图像修复问题，核心的思想就是利用图像文件本身的冗余性(redundancy)，利用图像已知部分的信息来补全未知部分。修复的流程分为两大步骤，首先选择待修补的像素，然后进行搜索补全。在图像修复问题上也引入了机器学习方式来进行解决。一般，利用卷积神经网络来学习图像中的高准确度特征，利用特征来指导图像缺失部分的生成。通过将大数据和图像高准确度特征的组合起来，使得图像修复得到了极大的完善。10.1 机器学习的图像处理简介10.1.2 图像物体识别与检测图像物体的识别：对一张图片进行分析，识别出这张图片中包含某类物体；物体检测：物体出现在图中的什么地方，一般需要将该物体以外接矩形框的形式显示出来。卷积神经网络（CNN）在模式识别方向具有较强的表现能力，对于图像物体识别与检测方面的算法也是多是在卷积神经网络的基础上进行改进，常用算法如下：1.DPM(Deformable Parts Model)2. OverFeat3.DeepID-Net4.RCNN5.Fast RCNN6.Faster RCNN7.SPPNet8.YOLO9.SSD10.2 图像物体识别我们将实现对Cifar-10数据集图像中的物体识别10.2.1 数据预处理Cifar-10数据集。Cifar是加拿大政府牵头投资的一个科学项目研究所，Cifar-10数据集是一个用于普适物体识别的数据集。CIFAR-10包含了60000幅RGB彩色图片，其中50000张用于训练、10000张用于测试。这些图片分为10个不同的类别，每类包含6000幅图片。为了简化了计算机模型的任务，并降低了分析图片的计算负载，数据集中每幅图片的规格是32x32像素10.2 图像物体识别10.2.1 数据预处理为了降低网络对图片的动态范围变化的敏感度，一般会对图片中的物体位置、亮度、对比度等方面进行调整。为了降低输入图片的冗余性，提高计算效率，会对图片数据需要进行标准化处理。1.原始数据获取从数据集中读取图片并将相关信息转化为TFRecord格式的数据，在TFRecord数据中包括了图像的长边像素、宽边像素以及颜色通道数，图片的编码，图片对应的分类标签以及图片文件。2.输入数据处理对于图片数据，在训练前进行统一裁剪到24×24像素大小，裁剪中央区域用于评估或随机裁剪用于训练。并且对图片进行数据增广，包括对图像进行随机的左右翻转、随机变换图像的亮度、随机变换图像的对比度操作，最后对图像进行白化操作。10.2 图像物体识别10.2.2 生成训练模型使用卷积神经网络为基础，包括了两次的卷积层、池化层以及抑制层，然后进行全连接层，最后通过逻辑分类层softmax_linear进行输出。卷积层、池化层以及抑制层实现如下： # conv1 with tf.variable_scope(conv1) as scope: kernel = _variable_with_weight_decay(weights, shape=[5, 5, 3, 64], stddev=5e-2, wd=0.0) conv = tf.nn.conv2d(images, kernel, [1, 1, 1, 1], padding=SAME) biases = _variable_on_cpu(biases, [64], tf.constant_initializer(0.0)) pre_activation = tf.nn.bias_add(conv, biases) conv1 = tf.nn.relu(pre_activation, name=scope.name) _activation_summary(conv1) # pool1 pool1 = tf.nn.max_pool(conv1, ksize=[1, 3, 3, 1], strides=[1, 2, 2, 1], padding=SAME, name=pool1) # norm1 norm1 = tf.nn.lrn(pool1, 4, bias=1.0, alpha=0.001 / 9.0, beta=0.75, name=norm1)10.2 图像物体识别10.2.2 生成训练模型使用