配置模型训练、推理或评估节点

数据管理DMS支持使用任务编排功的模型训练、模型评估和模型推理节点,对机器学习模型进行训练,使模型能够识别数据中的规律和模式,并支持将该模式推理至新数据,对新数据进行预测或分类。

注意事项

目前该功能处于邀测阶段。

模型说明

  • 模型训练

    模型训练是机器学习的第一步,也是最重要的一步。在训练阶段,系统会使用指定数据对机器学习模型进行训练,使其能够识别数据中的规律和模式,并对新的、未知的数据进行预测或分类。待训练完成后,系统将自动将训练好的模型注册至模型组。

    说明

    在实际业务应用中,通常一周调度一次,以更新模型效果。如果对模型效果要求较高,可以每天训练一次。

  • 模型评估

    您可以使用特定指标对模型进行评估,评估完成后,DMS将自动把评估结果注册至模型组,供您评估是否可进行模型推理。

  • 模型推理

    在推理阶段,可以使用经过训练并发布的模型对新的未知数据进行预测或分类。

    说明

    在实际业务应用中,根据具体应用需求,数据的触发频率可有所不同。例如,某些应用可能每日运行一次,而较高频率的应用则可能每小时运行一次,或依据特定事件进行触发。

前提条件

已购买了AnalyticDB MySQL集群并创建AI资源。购买的具体操作,请参见创建企业版或湖仓版集群

使用流程

image

操作步骤

步骤一:新建模型组

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择数据资产 > 模型管理

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 数据资产 > 模型管理

  3. 在页面左上方,单击新建模型组

  4. 配置模型组名称描述,单击确定

步骤二:创建并配置模型训练节点

  1. 创建模型训练节点。

    1. 单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 集成与开发 > 数据开发 > 任务编排

      说明

      若您使用的是非极简模式的控制台,在顶部菜单栏中,选择集成与开发 > 数据开发 > 任务编排

    2. 单击目标任务流名称,进入任务流详情页面。

      新增任务流操作,请参见概述

    3. 在画布左侧任务类型列表中,拖拽模型训练节点到画布空白区域。

  2. 配置节点信息。

    配置地域模型组模型名称AI资源等信息。部分参数说明如下:

    • 地域选择目标模型组所在地域。

    • 模型名称可以使用变量名,同时,模型名称不可重复。如果您需要配置动态的模型名称,可以使用模型训练节点的内置变量modelNmae

    • AI资源需要根据实际业务训练的数据量大小进行选择。

    • 创建模型的SQL语法,请参见模型使用流程及说明

      image

  3. 配置任务流调度。

    • 时间调度:当任务需要在固定的时间点或时间周期内执行时,可选择时间调度。具体操作,请参见配置时间调度

    • 事件调度:当任务的触发条件依赖于外部事件调度时,可选择事件调度。具体操作,请参见配置事件调度

  4. 运行节点。

    单击页面上方的试运行。如果执行日志末尾出现status SUCCEEDED,表明任务试运行成功。每一次运行成功都会记录到模型组中。

    说明

    如果执行日志末尾出现status FAILED,则表示试运行失败。您可以在执行日志中查看执行失败的节点和原因,修改配置后重新尝试。

步骤三:(可选)创建并配置模型评估节点

  1. 创建模型评估节点。

    1. 单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 集成与开发 > 数据开发 > 任务编排

      说明

      若您使用的是非极简模式的控制台,在顶部菜单栏中,选择集成与开发 > 数据开发 > 任务编排

    2. 单击目标任务流名称,进入任务流详情页面。

      新增任务流操作,请参见概述

    3. 在画布左侧任务类型列表中,拖拽模型评估节点到画布空白区域。

  2. 配置节点信息。

    配置地域模型组类型模型信息。

    说明

    地域选择目标模型组所在地域。

    image

  3. 配置任务流调度。

    • 时间调度:当任务需要在固定的时间点或时间周期内执行时,可选择时间调度。具体操作,请参见配置时间调度

    • 事件调度:当任务的触发条件依赖于外部事件调度时,可选择事件调度。具体操作,请参见配置事件调度

  4. 运行节点。

    单击页面上方的试运行。如果执行日志末尾出现status SUCCEEDED,表明任务试运行成功。

    说明

    如果执行日志末尾出现status FAILED,则表示试运行失败。您可以在执行日志中查看执行失败的节点和原因,修改配置后重新尝试。

  5. 运行成功后,您可在模型组列表或运行日志中查看模型的各项指标。

    模型指标说明,请参见模型使用流程及说明

    image

步骤四:部署模型

  1. 模型管理功能页面,找到并展开目标模型组。

  2. 找到目标模型,单击操作列下的部署

    image

  3. 在部署模型对话框中,选择目标AnalyticDB for MySQL实例和AI资源

    AI资源可以根据推理的数据量进行选择,无需与配置模型训练节点选择的AI资源一致。

  4. 单击部署

    模型状态变为已部署,表示部署成功。

步骤五:创建并配置模型推理节点

  1. 创建模型推理节点。

    1. 单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 集成与开发 > 数据开发 > 任务编排

      说明

      若您使用的是非极简模式的控制台,在顶部菜单栏中,选择集成与开发 > 数据开发 > 任务编排

    2. 单击目标任务流名称,进入任务流详情页面。新增任务流操作,请参见概述

    3. 在画布左侧任务类型列表中,拖拽模型推理节点到画布空白区域。

  2. 配置节点信息。

    配置地域模型组类型模型信息。

    说明
    • 地域选择目标模型组所在地域。

    • 仅支持选择已部署的模型。

    • 模型推理的SQL语法,请参见模型使用流程及说明

    image

  3. 配置任务流调度。

    • 时间调度:当任务需要在固定的时间点或时间周期内执行时,可选择时间调度。具体操作,请参见配置时间调度

    • 事件调度:当任务的触发条件依赖于外部事件调度时,可选择事件调度。具体操作,请参见配置事件调度

  4. 运行节点。

    单击页面上方的试运行。如果执行日志末尾出现status SUCCEEDED,表明任务试运行成功。

    说明

    如果执行日志末尾出现status FAILED,则表示试运行失败。您可以在执行日志中查看执行失败的节点和原因,修改配置后重新尝试。