机器学习 第2版 深度学习 目标检测与识别.ppt

分类层（cls_score）输出每一个位置上，9个anchor属于前景和背景的概率；窗口回归层（bbox_pred）输出每一个位置上，9个anchor对应窗口应该平移缩放的参数。 考察训练集中的每张图像： a. 对每个标定的真值候选区域，与其重叠比例最大的anchor记为前景样本 b. 对a)剩余的anchor，如果其与某个标定重叠比例大于0.7，记为前景样本；如果其与任意一个标定的重叠比例都小于0.3，记为背景样本 c. 对a),b)剩余的anchor，弃去不用。 d. 跨越图像边界的anchor弃去不用 YOLO的核心思想就是利用整张图作为网络的输入，直接在输出层回归bounding box的位置和bounding box所属的类别。 /darknet/yolo/ 得到每个box的class-specific confidence score以后，设置阈值，滤掉得分低的boxes，对保留的boxes进行NMS处理，就得到最终的检测结果。 其中坐标的x,y用对应网格的offset归一化到0-1之间，w,h用图像的width和height归一化到0-1之间。 在实现中，最主要的就是怎么设计损失函数，让这个三个方面得到很好的平衡。作者简单粗暴的全部采用了sum-squared error loss来做这件事 * 多尺度检测 将图像生成不同的scale，然后不同scale的图像生成对应的不同scale的特征 从网络不同层抽取不同尺度的特征做预测 高层特征进行上采样和低层特征进行自顶向下的连接 同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到预测的效果 RetinaNet算法 主干网络 目标分类子网 目标回归子网 Focal Loss（FL）是Cross-Entropy Loss的改进版本，为容易错误分类的样本分配更大权重来处理类不平衡问题。 MobileNet网络（1） Mobilenet v1是Google于2017年发布的网络架构 充分利用移动设备和嵌入式应用的有限的资源，有效地最大化模型的准确性 Mobilenet v1核心是把卷积拆分为Depthwise+Pointwise两部分 Depthwise MobileNet网络（2） Pointwise特征 普通卷积：3x3 Conv+BN+ReLU Mobilenet卷积：3x3 Depthwise Conv+BN+ReLU 和 1x1 Pointwise Conv+BN+ReLU MobileNet网络（3） ShuffleNet网络 语义分割-UNet UNet2015年发表在 MICCAI，结构比较简单，广泛应用于医学图像分割等场合。 与全卷机网络FCN思路非常类似，改进分割网络。 由于网络结构像U型，所以取名UNet网络。 Unpooling Upsampling（上采样） 在FCN、U-net等网络结构中，上采样是指可以让图像编码变成更高分辨率的技术。 Unpooling在CNN中表示max pooling的逆操作。 UNet 第一部分特征提取，结构类似VGG。第二部分上采样部分。 特征提取部分：每经过一个池化层就一个尺度，包括原图尺度一共有5个尺度。上采样部分：每上采样一次，就与特征提取部分对应的通道数相同尺度拼接，但是拼接之前要将其crop。 改进FCN之处： 多尺度 适合超大图像分割，适合医学等图像分割。 UNet的核心 常见的图像分割算法使用卷积层和池化层来增加感受野，也缩小了特征图。然后再利用上采样还原图像尺寸，其中会造成精度上的损失。 使用skip connection（虚线）为上采样弥补信息。 脑出血. 在CT影像上，高密度的区域就大概率是一块出血。 UNet UNet的结构包括U型结构和skip-connection。 首先进行Conv+Pooling下采样；然后Deconv反卷积进行上采样（部分采用resize+线性插值上采样），crop之前的低层feature map，进行融合；然后再次上采样。重复这个过程，直到获得输出388x388x2的feature map，最后经过softmax获得output segment map。 来源：/jakeret/tf_unet UNet的损失函数 图像分割可以定义为像素级别的分类任务。图像由各种像素组成，这些像素组合在一起定义了图像中的不同元素，因此将这些像素分类为一类元素的方法称为语义图像分割。 Binary Cross Entropy Weighted Cross Entropy Balanced Cross Entropy Dice Loss Focal loss Tversky loss Focal Tversky loss 来源：/abs/2006.1482