AutoML论文笔记(一) MiLeNAS:通过混合重组实现高效神经网络架构搜索

文章题目:MiLeNAS: Efficient Neural Architecture Search via Mixed-Level Reformulation
链接:link https://arxiv.org/abs/2003.12238
会议期刊:CVPR 2020

论文阅读笔记,帮助记忆的同时,方便和大家讨论。因能力有限,可能有些地方理解的不到位,如有谬误,请及时指正。

论文内容

随着AI的普及,对于深度学习降低门槛的需求越来越强烈。近年来AutoML技术爆发式增长,无论是产业界还是学术界都有丰富多样的产品。其中神经网络架构搜索技术(Neural Architecture Search 简称NAS)主要分为三类技术途径:基于进化算法的技术、基于强化学习算法的技术和基于梯度更新的技术。本文是在基于梯度的代表性算法DARTS的基础上做了改进,相较于之前的DARTS,速度和精度都有提升。
 之前的主网络和子网络包含在大Garph中的双层结构,每次搜索完都需要等子网络训练收敛才行。
AutoML论文笔记(一) MiLeNAS:通过混合重组实现高效神经网络架构搜索
而类似于SinglePath的单层结构,尽管有Dropout之类的正则化方式,仍然无法避免过拟合,导致训练和验证精度之间出现鸿沟。AutoML论文笔记(一) MiLeNAS:通过混合重组实现高效神经网络架构搜索
 因此在综合了以上两种方式后,选取一个折中方案,在拉格朗日乘子和归一化后,最终一阶的混合层优化Loss变为以下公式:
AutoML论文笔记(一) MiLeNAS:通过混合重组实现高效神经网络架构搜索
 为证明以上公式的正确性,文章中对比了一二阶MiLeNAS和DARTS,最终结论是一阶MiLeNAS>二阶DARTS>一阶DARTS>二阶MiLeNAS。在搜寻最优网络结构的同时,加入了带权重的验证精度,该算法的框架如下图:
AutoML论文笔记(一) MiLeNAS:通过混合重组实现高效神经网络架构搜索
 MiLeNAS对比其他NAS算法,常规操作——在Cifar10上搜索、训练、测试一条龙;网络结构固定后迁移到ImageNet,从头开始训练并测试,实验结果如下,可见精度和速度都有提升:
 AutoML论文笔记(一) MiLeNAS:通过混合重组实现高效神经网络架构搜索
 AutoML论文笔记(一) MiLeNAS:通过混合重组实现高效神经网络架构搜索

亮点和收获

1.虽然这种方法并不是现有最优的,但是其他方法的优势可能是搜索空间或者搜索策略带来的,这种混合层级优化的NAS是一种通用的优化方法。
2.我们通常的观点是模型越大,性能越好。在规避过拟合的前提下,往往希望模型越大越好。文章中跟踪了Model-size,发现其实这种现象并不是单调的,会有拐点。
AutoML论文笔记(一) MiLeNAS:通过混合重组实现高效神经网络架构搜索
这种实时跟踪模型大小,不仅可以满足那些对Model-size有要求的任务,权衡精度和大小,同时可以作为模型压缩的另一种思路。(DARTS之所以没有这么稳定的规律,个人认为是梯度计算误差导致的扰动,如果采样够多,应该能统计出相似规律)。
3.根据Model-size来Early-Stop。
4. 用可微的Gumbel-Softmax替代原有的Softmax来加速训练。

上一篇:分布式NAS集群突破HPC存储瓶颈!


下一篇:杉岩数据银行Documentum迁移方案