比可微架构搜索DARTS快10倍

的神经架构搜索

深度网络已经应用到许多应用中，其中，适当的体系结构对于确保良好的性能至关重要。近年来，NAS 因可以找到参数更少、性能更好的网络成为了关注和研究的热点，该方法可取代设计架构的人类专家。

NASNet 是这方面的先驱性工作，它将卷积神经网络（CNN）的设计为一个多步骤决策问题，并用强化学习来解决。

然而，由于搜索空间离散且巨大，NASNet 需要数百个 GPU 耗费一个月的时间，才能获得一个令人满意的网络结构。后来，通过观察网络从小到大的良好传输性，NASNetA）提议将网络分割成块，并在块或单元内进行搜索。然后，识别出的单元被用作构建块来组装大型网络。这种两阶段的搜索策略极大地减小了搜索空间的大小，从而使进化算法、贪心算法、强化学习等搜索算法显著加速。

尽管减少了搜索空间，但搜索空间仍然是离散的，通常很难有效搜索。最近的研究集中在如何将搜索空间从离散的变为可微分。这种思想的优点在于可微空间可以计算梯度信息，从而加快优化算法的收敛速度。

该思想已经衍生出了各种技术，例如 DARTS 平滑了 Softmax 的设计选择，并训练了一组网络；SNAS 通过平滑抽样方案加强强化学习。NAO 使用自动编码器将搜索空间映射到新的可微空间。

（编辑：怀化站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!