配置Notebook节点

任务编排的Notebook节点可以周期性执行Notebook中的.ipynb文件,以定期生成报表、定期训练AI模型。本文为您介绍如何配置Notebook节点。

前提条件

已在Notebook功能中完成如下操作:

操作步骤

  1. 登录数据管理DMS 5.0
  2. 单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 集成与开发 > 数据开发 > 任务编排

    说明

    若您使用的是非极简模式的控制台,在顶部菜单栏中,选择集成与开发 > 数据开发 > 任务编排

  3. 新增任务流。

    单击新增任务流,在该对话框中配置业务场景任务流名称信息,单击确认

  4. 创建Notebook节点。

    在画布左侧任务类型列表中,拖拽Notebook到画布空白区域。

  5. 配置Notebook节点。

    双击该节点进入节点配置页面,配置项目空间运行资源Notebook文件等参数信息。

    image

    说明

    运行参数的键名对应Notebook文件中的变量名,键值可以为固定常量,也可以输入变量(例如系统变量${bizdate})。

  6. 配置任务流调度周期。

    单击任务流配置页面下方的任务流信息,在调度配置区域进行配置。调度类型说明如下:

    • 时间调度:当任务需要在固定的时间点或时间周期内执行时,可选择时间调度(北京时间)。配置操作,请参见配置时间调度

    • 事件调度:当任务依赖于外部事件触发调度时,可选择事件调度。配置操作,请参见配置事件调度

  7. 试运行该节点。

    如果运行日志的最后一行出现status SUCCEEDED,表明任务试运行成功。试运行成功示例如下:

    2024-09-23 17:44:02[GMT+08:00] INFO - Finishing job j_299*** at 172708464**** with status SUCCEEDED
    说明
    • DMS每次运行Notebook节点都会生成一个.ipynb文件。

    • 如果运行日志出现status FAILED,则表示试运行失败。您可以在日志中查看执行失败的节点和原因,修改配置后重新尝试。

查看Notebook运行结果

  1. 单击任务流配置页面右上角的前往运维

    说明

    您也可以再任务流列表页面,单击运维

  2. 运行记录页签下,选择触发类型,包含调度触发和手动触发。

  3. 单击查看Notebook

    image

    页面会自动跳转至生成的.ipynb文件。

    image