DARTS学习笔记_原创精品文档.pdfVIP

DARTS学习笔记

传统的NAS是⼀种基于离散空间上的⿊盒优化过程：

1.NAS：只靠神经⽹络搜索出来的⽹络，不训练，不调参，就能直接完成任务，这样的⽹络叫做WANN，权重不可知神经⽹络。

通俗来讲：NAS就是⽤神经⽹络设计神经⽹络，通常使⽤强化学习或者进化算法来设计新的神经⽹络。

NAS⽅法的维度⼀般有三个

搜索空间：定义了NAS算法可以搜索的神经⽹络类型，同时也定义了如何描述神经⽹络结构。

神经⽹络类型：

1.感知器：单层神经⽹络，只包含输⼊层和输出层，没有隐藏层，接受每个结点的加权使⽤激活函数进⾏分类。

2.前馈神经⽹络：这⼀层的感知器与下⼀层的每个节点相连。

应⽤：数据压缩，模式识别，计算机视觉，语⾳识别，⼿写字符识别。

3.循环神经⽹络（RecurrentNeuralNetwork（RNN））：是前馈神经⽹络的⼀种改进形式，隐藏层中的每个神

经元接受特定时间延迟的输⼊，

使⽤这种神经⽹络，我们需要在当前的迭代中访问之前的信息。

例如，当我们要预测下⼀个单词的时候，需要知道上⼀个单词。循环神经⽹络可以处理输⼊并跨时区共享任意

长度和权重。

这种神经⽹络的问题是速度慢，不能考虑未来的输⼊，⽆法记住很久之前的信息。

应⽤：机器翻译，时间序列预测，语⾳识别合成，节奏学习，⾳乐创作。

4.卷积神经⽹络（ConvolutionalNeuralNetwork（CNN））：卷积神经⽹络包含了⼀个由卷积层和⼦采样层构

成的特征提取器。

同⼀个特征平⾯的神经元共享权值，这⾥的共享权值就是卷积核，卷积核⼀般是随机⼩数矩阵形式，在⽹络训

练的过程中取得合适的权值。

搜索策略：搜索算法通常是⼀个迭代过程，定义了使⽤怎样的算法可以快速、准确找到最优的⽹络结构参数配置。常见的

搜索⽅法包括：随机搜索、贝叶斯优化、进化算法、强化学习、基于梯度的算法。其中强化学习和进化学习是主流算法，

也是本章节重点介绍对象。

基于强化学习（reinforcementlearning,R）的⽅法已经成为NAS的主流⽅法[4]。RL有四个基元：agent,

action,environment和reward.强化学习是通过奖励或惩罚（reward）来学习怎样选择能产⽣最⼤积累奖励的⾏动

（action）的算法。

NAS的核⼼思想是通过⼀个controllerRNN在搜索空间（searchspace）中得到⼀个⼦⽹络结构（childnetwork），然后

⽤这个⼦⽹络结构在数据集上训练，在验证集上测试得到准确率，再将这个准确率回传给controller，controller继续优化得

到另⼀个⽹络结构，如此反复进⾏直到得到最佳结果，整个过程称为NeuralArchitectureSearch。

基于进化学习的搜索⽅法

进化学习（Evolutionaryalgorithms,EA）为了达到⾃动寻找⾼性能的神经⽹络结构，需要进化⼀个模型簇

（population）。每⼀个模型，也就是个体（individual），都是⼀个训练过的结构。模型在单个校验数据集（validation

dataset）上的准确度就是度量个体质量或适应性的指标。

在⼀个进化过程中[7]，⼯作者（worker）随机从模型簇中选出两个个体模型；根据优胜劣汰对模型进⾏识别，不合适的模

型会⽴刻从模型簇中被剔除，即代表该模型在此次进化中的消亡；⽽更优的模型则成为母体（parentmodel），进⾏繁

殖；通过这⼀过程，⼯作者实际上是创造了⼀个母体的副本，并让该副本随