模型训练

Designer提供了丰富的建模组件,您可以使用工作流,可视化的灵活构建模型、调试模型并周期性地调度模型,以完成模型训练。本文为您介绍使用Designer训练模型的具体操作步骤。

前提条件

  • 已创建工作流。您可以根据业务需要创建空白工作流或模板工作流,详情请参见工作流概述

  • 已准备好训练模型所需的数据集,详情请参见概述

背景信息

模型训练的操作步骤如下:

  • 步骤一:构建模型

    Designer为您提供可视化建模操作界面,如下图所示。00ef4292877f57dd09e9f265b220cbef

    • Designer为您提供了百余种建模所需的组件,您只需根据建模需求查找并选择合适的组件,将其拖入建模画布中作为一个节点。

    • Designer支持通过连线的方式,将各个节点组织构建成一个有上下游关系的模型工作流。

    • Designer支持界面化的节点参数配置,为您降低建模技术门槛。

  • 步骤二:调试模型

    Designer画布上方有运行、全部任务查看等按钮,便于您在建模过程中或构建模型后进行模型调试。各界面按钮的详细介绍请参见基础功能

步骤一:构建模型

空白工作流构建模型

使用空白工作流进行建模时,建议您参考以下流程规划构建模型,您也可以前往快速入门,快速体验建模的流程,熟悉操作界面。

  1. 规划模型节点。

    通常一个模型可以拆分为多个细分的节点任务,通过节点任务的前后编排来最终实现模型预期效果。因此,在建模之前,建议您先拆分模型并规划好细分的节点任务。通常建议一个节点完成一个最简单的任务。

  2. 根据规划,拖入并配置对应的组件。

    aec8039d5046c9eeab9e214ee4c22519

    在左侧的组件库中,您可以根据规划找到合适的组件,将其拖入画布中作为一个节点。通过单击节点,在右侧的配置框中配置节点所需的参数,即可完成节点的配置。

    • Designer为您提供百余种组件,满足读取数据、统计分析、文本分析等多种场景的使用,组件详情请参见组件参考:所有组件汇总

    • 在节点配置过程中,如果有多个节点都需要使用的一些全局参数,您可以使用全局变量来提高节点配置效率,详情请参见高级功能:全局变量

  3. 通过连线将节点组织构建成模型工作流。

    拖入多个组件后,画布中即有多个节点。您可以根据规划通过连线将各个节点组织成有上下游关系的工作流。后续模型实际运行时,上游节点会先运行,所有上游节点均运行完成后,下游节点会被触发运行。

模板工作流构建模型

使用模板工作流进行建模时,支持使用以下几类模板:

  • Designer预置模板

    Designer里已经内置了数十个基于不同框架、满足不同行业场景需求的模板,具体分类如下,您可以根据业务需求,自行选择工作流模板。image

    • 按照行业类型分为:互联网、工业、金融、教育、医疗和科研类型。

    • 按照算法类别和框架分为:分类、回归、聚类、TF框架和PyTorch框架。

    • 按照业务领域分为:推荐、风控、用户增长、CV、NLP、模型优化、ASR和视频领域。

  • Designer自定义模板

  • 导出的JSON格式的模板文件

    根据业务场景,新增或修改工作流节点,修改组件参数。

  • 从左侧组件库中拖入新的组件到右侧画布中,您可以替换工作流中的节点,也可以将组件连接到已有组件的下游。

  • 使用组件默认参数或单击组件,在右侧的配置框中配置组件所需的参数。image

步骤二:调试模型

建模完成后,您可以对工作流节点进行调试。

  • 调试模型整体

    所有节点均配置完成、连线完成后,您可以在画布中单击运行按钮image,对整个模型进行试运行。

  • 调试单个节点

    调试过程中,您也可以直接右键单击某个节点,选择直接从此处开始执行执行该节点等运行调试范围,提高调试效率。image

  • 运行失败定位

    如果某节点运行失败,您可以右键单击该节点查看日志等信息进行排查处理。

  • 查看运行结果

    运行成功后,您可以右键单击节点查看产出数据。

  • 查看历史任务

    建模过程中,您的每次运行都会被记录为一次历史任务。每次运行涉及的节点范围、节点的配置情况、产出结果均会保留在历史任务中。您可以单击工具栏右侧的全部任务查看,来查看所有历史任务的调试详情。image

    历史任务对话框中,单击某个历史任务操作列下的详情,页面将跳转至任务管理中对应历史任务的详情页面。image

    • 您可以在顶部单击任务详情任务结果切换查看对应的详细信息。

    • 任务详情页面中,画布展示当前历史任务参与运行的节点和运行详细信息。单击某个节点后,您可以在右侧详情中查看本次运行中此节点的运行信息任务日志输出结果

    单击某个历史任务操作列的版本回滚,您可以根据界面提示,将模型工作流回滚恢复至历史运行时的状态。

    说明

    建议回滚之前,查看历史任务的详情,确认回滚的版本是否正确。同时,回滚前建议将最新的任务保存并运行一次。如果回滚后出错,您可以再次回滚至最新的任务状态。

相关文档