65.AutoML-1

1.什么是AutoML？

• 目前一个优秀的机器学习和深度学习模型，离不开这几个方面：

  • 一、优秀的数据预处理；
  • 二、合适的模型结构和功能；
  • 三、优秀的训练策略和超参数；
  • 四、合适的后处理操作；
  • 五、严格的结果分析。

• 这几方面都对最终的结果有着举足轻重的影响，这也是目前的数据工程师和学者们的主要工作。

  • 但由于这每一方面都十分繁琐，尤其是在构建模型和训练模型上。而大部分情况下，这些工作有无须过深专业知识就能使用起来。
  • 所以AutoML主要的作用就是来帮助实现高效的模型构建和超参数调整。例如深度学习网络的架构搜索、超参数的重要性分析等等。
  • 当然AutoML并不简单的进行暴力或者随机的搜索，其仍然需要机器学习方面的知识，例如贝叶斯优化、强化学习、元学习以及迁移学习等等。
  • 目前也有些不错的AutoML工具包，例如Alex Honchar的Hyperopt、微软的NNI、Autokeras等。

2.自动化超参数搜索方法有哪些？

• 目前自动化搜索主要包含网格搜索，随机搜索，基于模型的超参优化
• 网格搜索：
  • 通常当超参数量较少的时候，可以使用网格搜索法。即列出每个超参数的大致候选集合。利用这些集合 进行逐项组合优化。在条件允许的情况下，重复进行网格搜索会当优秀，当然每次重复需要根据上一步得到的最优参数组合，进行进一步的细粒度的调整。网格搜索最大的问题就在于计算时间会随着超参数的数量指数级的增长。
• 随机搜索ÿ