什么是AutoML

背景

在机器学习模型中，超参数（Hyper Parameter，简称超参）是用来控制模型训练的一组参数，是训练机器学习模型时用到的外部配置参数。超参数在模型训练开始之前应设置好。超参数不同于模型内部参数，模型内部参数在学习过程中被不断地更新和优化。而超参数在学习过程开始前设置，在模型训练过程中保持不变。

可以把一个模型的n个超参理解成一个n维向量。在模型训练的实践中，我们需要从这个模型的所有超参向量值域里，找到一个特定的向量值，使得该模型在给定的数据集上获得最佳效果（比如最小化损失函数loss function的结果）。寻找这个最优超参向量值的过程我们称之为超参调优（Hyper Parameter Optimization，简称HPO）。

举个简单的例子，模型有2个超参A和B，A可能的取值有（a，b，c），B可能的取值有（d，e），那么这个超参调优过程就是从A、B值的6种排列组合里，选出一种，使得模型训练有最佳效果。为了选出最优组合，最简单的方式是在同一个训练数据集上，把A，B的6种值的组合分别用于模型训练，然后比较模型在同一组测试数据集上的效果，选出效果最好的模型所用的超参组合。

AutoML HPO介绍

受模型超参数量、每个超参的数据类型和值域范围影响，超参调优问题很容易达到很高的复杂度。比如模型有多个超参，有些超参是整型，有些是浮点型，此时超参调优无法通过手工来完成，通过暴力搜索需要消耗非常大的计算资源，这需要引入自动化的系统来完成这项工作。AutoML服务中的HPO功能，正是帮助用户实现自动超参调优的目标。

AutoML HPO是AutoML提供的对模型参数、训练超参数（opt、lr）等进行自动搜索调优的服务，为您提供了易用、有效、准确的自动超参调优服务：

• 简化调优工作：通过自动化工具大幅简化算法工程师调参工作，节省算法工程师的调参时间。

• 训练更优模型：集成了PAI的多种算法，能够有效查找到最优组合以及对应的模型，帮助您训练出精度更高、效率更高的模型。

• 节省计算资源：超参调优工具会通过持续的评估，决定是否有必要使用下一组超参组合。这个机制下，可能不需要评估所有组合就已经得到了最优解，能帮助您节省计算资源的使用量。

• 方便应用算力：与DLC、MaxCompute计算资源无缝衔接，方便您灵活配置并使用澎湃算力。

AutoML HPO应用场景

机器学习训练过程中，需要进行模型参数调优的，都可以使用AutoML HPO，来获得更好模型。常见的应用场景有下面几种。

• 机器学习二分类任务，例如判断用户是否是付费用户。

• 机器学习回归类任务，例如判断用户7日预计付费金额。

• 机器学习聚类任务，例如确定某化妆品牌在某城市划分几个买卖点。

• 推荐场景：排序召回模型调优，提升AUC等指标。

• 深度学习：提升图像多分类/视频多分类等任务的精度。

相关文档

• AutoML工作原理

  （推荐）了解AutoML原理机制，实验、Trial、训练任务关系，帮助您理解后续配置项间的逻辑关系。

• 新建实验

  通过控制台创建新实验，以及了解其中的关键参数如何配置。

• AutoML使用案例汇总

  您可以通过实际案例，来使用AutoML，完成模型的超参调优。