机器学习 第2版 深度学习 卷积神经网络.ppt

* SENet卷积神经网络（3） 赵卫东 复旦大学 SEnet网络结构 Squeeze-and-Excitation Networks. CVPR,2017,/pdf/1709.01507v4.pdf EfficientNet v1卷积神经网络（1） 赵卫东 复旦大学 ?EfficientNet?是一种?2019?年提出的卷积神经网络，可以同时兼顾模型的速度和精度，设置合理的网络深度、网络宽度和图像分辨率系数（d,r,w）组合。 EfficientNet:Rethinking Model Scaling for Convolutional Neural Networks，2019，ICML，/pdf/1905.11946.pdf? EfficientNet v1卷积神经网络（2） 赵卫东 复旦大学 倒置残差（Inverted Residual Block）模块：首先用?1x1 卷积进行加宽，然后使用?3x3 Depthwise卷积，然后使用?1x1 卷积来减少通道数，以便输入?和输出?可以相加。 SE模块 卷积神经网络SENet Swish 激活函数 针对FLOPs与参数量采用NAS搜索得到EfficientNet-B0，然后通过复合尺度缩放得到了更大版本的模型EfficientNetB1-B7 EfficientNet v2卷积神经网络 赵卫东 复旦大学 EfficientNet v2卷积神经网络:训练速度更快、参数量更少 采用了训练感知NAS搜索与缩放技术对训练速度与参数量进行联合优化 采用了Fused-MBConv 逐步增加输入图像大小，并自适应地调整正则化因子dropout、数据增广、mixup等 NAS Search：MBConv和Fused-MBConv等卷积操作、网络层数、核尺寸等参数组合 典型卷积神经网络算法准确度（1） computational cost Accuracy (precision @1) accuracy 赵卫东 复旦大学 典型卷积神经网络算法准确度 accuracy 赵卫东 复旦大学 典型卷积神经网络算法参数量和Flops accuracy 赵卫东 复旦大学 MobileNet v1网络（1） Mobilenet v1是Google于2017年发布的网络架构 充分利用移动设备和嵌入式应用的有限的资源，有效地最大化模型的准确性 Mobilenet v1核心是把卷积拆分为Depthwise+Pointwise两部分 Depthwise 赵卫东 复旦大学 Pointwise特征 普通卷积：3x3 Conv+BN+ReLU Mobilenet卷积：3x3 Depthwise Conv+BN+ReLU 和 1x1 Pointwise Conv+BN+ReLU 赵卫东 复旦大学 MobileNet v1网络（2） 议程 MobileNet v1(3) 赵卫东 复旦大学 议程 MobileNet v2 赵卫东 复旦大学 议程 ShuffleNet v1网络（1） 赵卫东 复旦大学 ShuffleNet v1网络 MobileNet网络 ShuffleNet v1网络 MobileNet网络 ShuffleNet:An Extremely Efficient Convolutional Neural Network for Mobile Devices /abs/1707.01083 议程 ShuffleNet v1网络（2） 赵卫东 复旦大学 ShuffleNet v1网络结构参数 议程 ShuffleNet v2网络(1) 赵卫东 复旦大学 ShuffleNet v2网络提出了新的block设计. 改进点 利用channel split对输入通道对半分。 利用channel split替换了group操作。 将shuffle移到了concat之后。 去掉Elementwise（Add）改成concat。 ShuffleNetV2:Practical Guidelines for Efficient CNN Architecture Design /abs/1807.11164 议程 ShuffleNet v2网络(2) 赵卫东 复旦大学 ShuffleNet v2网络结构参数 常用卷积神经网络的分类准确度 赵卫东 复旦大学 议程 基于卷积的文本处理 赵卫东 复旦大学 议程 基于双卷积的文本处理 深度卷积推荐算法 赵卫东 复旦大学 赵卫东 复旦大学 * * * 随机擦除?— 这是一种数据增强技术，将图像的区域替换为随机值，或者是训练集的平均像素值，通常采用不同比例的擦除图像和擦除区域的高宽比来实现。 CutMix?— 通过从一个图像中切割一部分并将其粘贴到增强图像上来组合图像。 * 随机擦除?—