任务编排的Notebook节点可以周期性执行Notebook中的.ipynb
文件,以定期生成报表、定期训练AI模型。本文为您介绍如何配置Notebook节点。
前提条件
已在Notebook功能中完成如下操作:
新建项目空间。具体操作,请参见步骤一:创建并进入项目空间。
添加资源。具体操作,请参见步骤四:添加资源。
配置Notebook存储空间。具体操作,请参见步骤五:配置用户存储空间。
创建Notebook文件(
.ipynb
文件)。具体操作,请参见创建Notebook文件。给变量标记parameters Tag。
在Add Tag框中输入parameters,表示该Cell可以被设置为变量。
操作步骤
- 登录数据管理DMS 5.0。
单击控制台左上角的图标,选择
。说明若您使用的是非极简模式的控制台,在顶部菜单栏中,选择
。新增任务流。
单击新增任务流,在该对话框中配置业务场景和任务流名称信息,单击确认。
创建Notebook节点。
在画布左侧任务类型列表中,拖拽Notebook到画布空白区域。
配置Notebook节点。
双击该节点进入节点配置页面,配置项目空间、运行资源、Notebook文件等参数信息。
说明运行参数的键名对应Notebook文件中的变量名,键值可以为固定常量,也可以输入变量(例如系统变量${bizdate})。
配置任务流调度周期。
单击任务流配置页面下方的任务流信息,在调度配置区域进行配置。调度类型说明如下:
试运行该节点。
如果运行日志的最后一行出现
status SUCCEEDED
,表明任务试运行成功。试运行成功示例如下:2024-09-23 17:44:02[GMT+08:00] INFO - Finishing job j_299*** at 172708464**** with status SUCCEEDED
说明DMS每次运行Notebook节点都会生成一个
.ipynb
文件。如果运行日志出现
status FAILED
,则表示试运行失败。您可以在日志中查看执行失败的节点和原因,修改配置后重新尝试。
查看Notebook运行结果
单击任务流配置页面右上角的前往运维。
说明您也可以再任务流列表页面,单击运维。
在运行记录页签下,选择触发类型,包含调度触发和手动触发。
单击查看Notebook。
页面会自动跳转至生成的
.ipynb
文件。