任务调试流程

更新时间:
复制 MD 格式

任务代码开发完成后,您可根据需要,通过运行、带参运行、快捷运行等功能调试完整代码或代码片段的正确性,并在调试完成后查看运行结果。本文为您介绍任务调试的相关内容。

前提条件

已完成任务开发,详情请参见数据开发(DataStudio)(旧版)

背景信息

您可根据业务需要,选择调试运行单个任务调试运行业务流程。运行完成后,可通过查看运行历史新建临时查询文件查看运行结果,并对查询结果进行相关操作

说明

调试运行单个任务或业务流程时,不会收取DataWorks调度资源费用,但会收取相关引擎费用。引擎费用详情,请参见各引擎的计费文档。

调试运行单个任务

  1. 数据开发(DataStudio)(旧版),在左侧导航栏的数据开发或手动业务流程模块,双击业务流程目录下的目标节点,进入该节点的编辑页面。

  2. 调试运行任务。

    在节点编辑页面,使用节点工具栏中的运行或高级运行调试代码逻辑,也可通过快捷运行调试代码片段,具体说明如下表。

    说明

    运行任务时,若查询的目标数据无权限,可参考引擎与数据权限管控概述了解DataWorks中各引擎的权限管控。

    运行方式

    描述

    场景选择

    运行(运行图标)

    支持为代码测试场景的变量赋值,以及指定调度资源组。相关赋值及指定的资源组会被记录,后续运行时可直接使用。

    说明

    新建节点首次运行时会出现配置弹框,您需在弹框中手动为代码中的变量赋值常量。首次赋值会被DataWorks记录,下次执行运行操作时默认使用该配置。

    当您需要频繁调试代码时,可选择此功能。

    带参运行(带参运行图标)

    每次运行都需为测试场景下的变量赋值常量,并指定调度资源组。

    当您需要修改代码中变量的赋值,或修改任务使用的调度资源组时,可选择此功能。

    快捷运行快捷运行图标)

    支持在节点编辑页面的代码区域调试代码片段。

    若您仅需调试节点中的代码片段,可选择此功能。

    说明

    该功能仅用于调试部分代码的正确性,如果需调试完整的代码逻辑,请使用运行或高级运行。

调试运行业务流程

  1. 数据开发(DataStudio)(旧版),在左侧导航栏的数据开发或手动业务流程模块,双击目标业务流程,进入该业务流程面板。

  2. 调试运行业务流程。

    单击业务流程面板工具栏的运行(运行图标),即可按照依赖关系,依次运行整个业务流程中的任务。

    您也可以在业务流程面板中,右键单击指定节点,选择运行节点及下游,按照依赖关系运行该节点及其所有下游节点。

    工具栏运行与右键运行节点及下游的机制存在差异:

    • 工具栏运行:按照业务流程的完整DAG依赖关系,从上游到下游依次运行所有节点。每个节点独立提交运行,等效于逐一在节点编辑页面执行运行操作。

    • 右键运行节点及下游:从选定节点开始,带入依赖调度逻辑运行该节点及其下游节点。该方式会校验上游节点的运行状态和输出,与在节点编辑页面直接运行(独立调试模式)的行为不同。

    如果右键运行节点及下游时报错,但在节点编辑页面直接运行同一SQL无异常,原因在于右键运行会带入调度依赖逻辑,校验上游节点的运行状态和输出数据,而直接运行仅执行当前节点的SQL代码。排查方向如下:

    • 检查上游节点的运行状态。右键运行会校验上游依赖,上游节点未运行或运行失败会导致当前节点报错。在业务流程面板中查看上游节点的运行状态图标,确认所有上游节点均已运行成功。

    • 检查节点间的依赖配置。确认节点的输入输出参数传递是否正确,调度参数赋值是否与预期一致。在节点的调度配置页面,检查上游输出表与当前节点输入表是否匹配。

    • 右键单击报错节点,选择查看运行日志,定位具体的错误信息。日志中的报错通常包含具体的错误原因(如表不存在、权限不足、语法错误等)。

    • 检查SQL中是否存在注释语法问题。部分引擎在调度模式下对注释的解析方式与直接运行不同,可能导致语法报错。排查时可先移除SQL中的块注释(/* */),仅保留行注释(--),确认是否仍然报错。

    • 检查上游节点的输出数据是否已就绪。右键运行依赖上游节点产生的数据表作为输入,若上游节点虽运行成功但输出数据尚未就绪或被清理,当前节点会因读取不到输入表而报错。

    说明
    • 当手动业务流程中各节点存在同名变量,并且该变量可进行统一赋值时,您可在业务流程面板定义使用流程参数并为参数赋值,通过运行业务流程,查看赋值结果及手动任务的执行情况。

    • 仅部分类型节点支持使用流程参数,具体请以实际界面为准。

    • 运行完成后,可在业务流程面板中,右键单击指定节点,查看该节点的运行日志。

查看运行历史

您可进入数据开发(DataStudio)的运行历史页面,查看当前登录账号近三天在数据开发界面运行过的所有任务记录。

任务在数据开发(DataStudio)运行后,将下发至对应引擎的服务执行,即使在任务运行过程中,您不小心将任务关闭,该任务仍会继续执行。您可进入运行历史页面,查看任务运行日志或停止已经下发执行的任务。

新建临时查询文件

若您仅需在数据开发(DataStudio),即开发环境,查询数据及相关SQL代码,测试代码的实际情况与期望值是否相符或验证代码的正确性;而无需将数据或SQL代码发布至生产环境操作生产环境引擎,则可通过新建临时查询文件实现。

说明

运行任务时,若查询的目标数据无权限,可参考引擎与数据权限管控概述了解DataWorks中各引擎的权限管控。

处理查询结果

SQL代码执行成功后,您可对查询结果执行如下操作。

操作

描述

相关文档

分析数据

同步查询结果至电子表格,对查询结果进行更丰富的分析操作。

分析数据

分享数据

同步查询结果至电子表格,通过电子表格的数据分享功能,分享该表数据至指定用户。

分享数据

下载数据

将查询结果以电子表格的形式下载至本地。默认展示1W条数据。

下载数据

说明
  • 租户管理员租户安全管理员、以及被授权空间管理员角色的RAM用户可进入数据查询管控,对查询结果的展示条数、下载条数、是否允许下载等操作进行管控。授权详情请参见添加空间成员并管理成员角色权限

  • 当前仅支持DataWorks标准版、专业版、企业版使用下载功能。如需使用该功能,可升级DataWorks至相应版本。详情请参见DataWorks各版本功能详情