任务代码开发完成后,您可根据需要,通过运行、带参运行、快捷运行等功能调试完整代码或代码片段的正确性,并在调试完成后查看运行结果。本文为您介绍任务调试的相关内容。
前提条件
已完成任务开发,详情请参见数据开发(DataStudio)(旧版)。
背景信息
您可根据业务需要,选择调试运行单个任务或调试运行业务流程。运行完成后,可通过查看运行历史、新建临时查询文件查看运行结果,并对查询结果进行相关操作。
调试运行单个任务或业务流程时,不会收取DataWorks调度资源费用,但会收取相关引擎费用。引擎费用详情,请参见各引擎的计费文档。
调试运行单个任务
-
数据开发(DataStudio)(旧版),在左侧导航栏的数据开发或手动业务流程模块,双击业务流程目录下的目标节点,进入该节点的编辑页面。
-
调试运行任务。
在节点编辑页面,使用节点工具栏中的运行或高级运行调试代码逻辑,也可通过快捷运行调试代码片段,具体说明如下表。
说明运行任务时,若查询的目标数据无权限,可参考引擎与数据权限管控概述了解DataWorks中各引擎的权限管控。
运行方式
描述
场景选择
运行(
图标)支持为代码测试场景的变量赋值,以及指定调度资源组。相关赋值及指定的资源组会被记录,后续运行时可直接使用。
说明新建节点首次运行时会出现配置弹框,您需在弹框中手动为代码中的变量赋值常量。首次赋值会被DataWorks记录,下次执行运行操作时默认使用该配置。
当您需要频繁调试代码时,可选择此功能。
带参运行(
图标)每次运行都需为测试场景下的变量赋值常量,并指定调度资源组。
当您需要修改代码中变量的赋值,或修改任务使用的调度资源组时,可选择此功能。
快捷运行(
图标)支持在节点编辑页面的代码区域调试代码片段。
若您仅需调试节点中的代码片段,可选择此功能。
说明该功能仅用于调试部分代码的正确性,如果需调试完整的代码逻辑,请使用运行或高级运行。
调试运行业务流程
-
数据开发(DataStudio)(旧版),在左侧导航栏的数据开发或手动业务流程模块,双击目标业务流程,进入该业务流程面板。
-
调试运行业务流程。
单击业务流程面板工具栏的运行(
图标),即可按照依赖关系,依次运行整个业务流程中的任务。您也可以在业务流程面板中,右键单击指定节点,选择运行节点及下游,按照依赖关系运行该节点及其所有下游节点。
工具栏运行与右键运行节点及下游的机制存在差异:
-
工具栏运行:按照业务流程的完整DAG依赖关系,从上游到下游依次运行所有节点。每个节点独立提交运行,等效于逐一在节点编辑页面执行运行操作。
-
右键运行节点及下游:从选定节点开始,带入依赖调度逻辑运行该节点及其下游节点。该方式会校验上游节点的运行状态和输出,与在节点编辑页面直接运行(独立调试模式)的行为不同。
如果右键运行节点及下游时报错,但在节点编辑页面直接运行同一SQL无异常,原因在于右键运行会带入调度依赖逻辑,校验上游节点的运行状态和输出数据,而直接运行仅执行当前节点的SQL代码。排查方向如下:
-
检查上游节点的运行状态。右键运行会校验上游依赖,上游节点未运行或运行失败会导致当前节点报错。在业务流程面板中查看上游节点的运行状态图标,确认所有上游节点均已运行成功。
-
检查节点间的依赖配置。确认节点的输入输出参数传递是否正确,调度参数赋值是否与预期一致。在节点的调度配置页面,检查上游输出表与当前节点输入表是否匹配。
-
右键单击报错节点,选择查看运行日志,定位具体的错误信息。日志中的报错通常包含具体的错误原因(如表不存在、权限不足、语法错误等)。
-
检查SQL中是否存在注释语法问题。部分引擎在调度模式下对注释的解析方式与直接运行不同,可能导致语法报错。排查时可先移除SQL中的块注释(
/* */),仅保留行注释(--),确认是否仍然报错。 -
检查上游节点的输出数据是否已就绪。右键运行依赖上游节点产生的数据表作为输入,若上游节点虽运行成功但输出数据尚未就绪或被清理,当前节点会因读取不到输入表而报错。
说明-
当手动业务流程中各节点存在同名变量,并且该变量可进行统一赋值时,您可在业务流程面板定义使用流程参数并为参数赋值,通过运行业务流程,查看赋值结果及手动任务的执行情况。
-
仅部分类型节点支持使用流程参数,具体请以实际界面为准。
-
运行完成后,可在业务流程面板中,右键单击指定节点,查看该节点的运行日志。
-
查看运行历史
您可进入数据开发(DataStudio)的运行历史页面,查看当前登录账号近三天在数据开发界面运行过的所有任务记录。
任务在数据开发(DataStudio)运行后,将下发至对应引擎的服务执行,即使在任务运行过程中,您不小心将任务关闭,该任务仍会继续执行。您可进入运行历史页面,查看任务运行日志或停止已经下发执行的任务。
新建临时查询文件
若您仅需在数据开发(DataStudio),即开发环境,查询数据及相关SQL代码,测试代码的实际情况与期望值是否相符或验证代码的正确性;而无需将数据或SQL代码发布至生产环境操作生产环境引擎,则可通过新建临时查询文件实现。
运行任务时,若查询的目标数据无权限,可参考引擎与数据权限管控概述了解DataWorks中各引擎的权限管控。
处理查询结果
SQL代码执行成功后,您可对查询结果执行如下操作。
|
操作 |
描述 |
相关文档 |
|
分析数据 |
同步查询结果至电子表格,对查询结果进行更丰富的分析操作。 |
|
|
分享数据 |
同步查询结果至电子表格,通过电子表格的数据分享功能,分享该表数据至指定用户。 |
|
|
下载数据 |
将查询结果以电子表格的形式下载至本地。默认展示1W条数据。 |
-
租户管理员、租户安全管理员、以及被授权空间管理员角色的RAM用户可进入数据查询管控,对查询结果的展示条数、下载条数、是否允许下载等操作进行管控。授权详情请参见添加空间成员并管理成员角色权限。
-
当前仅支持DataWorks标准版、专业版、企业版使用下载功能。如需使用该功能,可升级DataWorks至相应版本。详情请参见DataWorks各版本功能详情。