计算任务

区域

描述

①计算任务目录

创建的计算任务将在任务目录中进行统一管理。任务目录支持的管理操作如下：

• 目录工具栏：支持筛选、刷新、新建文件夹及定位。其中筛选中默认选中有权限的目录，即默认展示当前用户有权限的一级目录，取消选中后，则展示所有目录。

• 创建计算任务：单击按钮，支持创建计算任务。因不同计算引擎支持的创建的任务不同，支持的计算任务请以页面显示为准。

• 目录：权限管理（仅一级目录）、新建文件夹、重命名、移动、删除。

  权限管理：仅拥有数据管理- 目录权限管理 权限的项目角色和目录管理员可对一级目录进行权限管理。单击权限管理后，可选择可见设置为公开或仅指定成员可见。选中仅指定成员可见时，还需分别指定目录管理员和可见成员，配置完成后其他成员在研发、运维、发布中均不可见目录下的任务。

  说明

  实时任务不支持目录权限管理。

• 计算任务：支持获取锁、编辑、克隆、重命名、移动、删除、下线、下线并删除、修改归属项目。

  重要

  • 对于Basic模式项目，删除任务提交成功后，即更新至生产环境，请谨慎操作。

  • 对于Dev-Prod模式项目，删除任务提交成功后，请前往待发布列表，以发布对象至生产环境。

• 计算任务列表：单击计算任务列表，可以通过列表方式管理创建的计算任务。

②工具栏

工具栏支持包括保存、预编译、运行、设参运行、提交、去发布、格式化、刷新、获取锁、定位、下线、下线并删除等。

• 切换版本：计算任务为Python时，支持切换Python计算任务的执行版本。支持Python 2.7、Python 3.7和Python 3.11版本。

• 切换数据源：计算任务为数据库SQL时，支持切换计算任务的数据源。

• 切换Database/Schema：计算任务为数据库SQL且数据库类型为AnalyticDB for PostgreSQL、Oracle、Presto、MySQL、StarRocks、Doris、SelectDB、ClickHouse、OceanBase（MySQL模式）、TDengine、GBase 8a时，支持切换数据源的Database/Schema。

• 切换Catalog：计算任务为数据库SQL且数据库类型为Presto、Trino时，支持切换数据源的Catalog。

• 保存：保存当前开发中的计算任务。

• 预编译：预编译当前计算任务。

• 运行：运行当前开发中的计算任务。 已完成参数首次设置时，再次运行将不需要重新填写运行参数。

  若当前操作人不具有相关表的行级权限，可在权限校验失败对话框中查看无权限的相关信息，单击申请权限图标，跳转至管理中心 > 权限管理 > 我的权限 > 行级权限页面申请权限后重新发布。

• 设参运行：不使用计算任务中存在的参数运行，每次设参运行计算任务时，将需要重新填写运行参数。

• 提交：将计算任务提交至发布中心或运维中心。

• 去发布：已提交到发布中心的计算任务，您可以前往发布中心进行发布操作。

  若当前项目的生产账号不具有相关表的行级权限，系统将阻塞任务发布，并提示无权限的相关信息。您可以联系安全管理员授权后重新发布。

• 去运维：已提交到运维中心的计算任务，您可以前往运维中心进行运维操作。更多信息，请参见运维中心。

• 格式化：计算任务为SQL类型时，支持格式化计算任务代码。

• 刷新：刷新当前计算任务。

• 获取锁：获取计算任务的编辑锁。

• 定位：在任务目录中定位到当前计算任务。

• 删除、删除下线并删除：删除或下线并删除当前计算任务。

  重要

  • 对于Basic模式项目，删除任务提交成功后，即更新至生产环境，请谨慎操作。

  • 对于Dev-Prod模式项目，删除任务提交成功后，请前往待发布列表，以发布对象至生产环境。

③编辑器

可以在代码编辑器中，开发计算任务。编辑器支持多种快捷键和提效方式。更多信息，请参见：

• 编辑器快捷键列表。

• 编辑器代码提效。

④配置及管理

配置及管理计算任务的属性配置、相关、历史、血缘等信息。

• 属性配置：配置计算任务的属性。不同计算类型的属性配置不同。

  • 离线计算任务属性配置，请参见配置离线管道任务属性。

  • 实时计算任务属性配置，请参见：

    • 实时模式配置概述。

    • 离线模式配置概述。

• 相关：离线计算任务支持查看计算任务的相关对象，即当前计算任务引用读取的表、引用读取当前任务的表、将当前任务作为上游依赖的任务。更多信息，请参见查看及管理任务相关对象。

• 历史：查看及管理任务历史版本。更多信息，请参见查看及管理实时任务历史版本。

• 血缘：对于Python、Shell、Virtual计算任务支持自定义血缘。更多信息，请参见自定义血缘配置。

⑤控制台

运行或预编译任务时，将在控制台显示运行日志和运行结果信息。

对于SQL查询类计算任务，控制台中包含运行结果、日志和代码三部分。详情请参见SQL查询类计算任务查询结果控制台。

区块

说明

①控制台整体操作

• 查看运行结果：单击控制台左侧的图标，查看当前计算任务的运行结果。

• 查看日志：单击控制台左侧的图标，查看当前计算任务本次运行的日志信息。

• 查看代码：单击控制台左侧的图标，查看当前计算任务的代码。

• 查看并管理当前计算任务的多个运行结果：单击控制台右上角的图标，查看当前计算任务多次运行后的各个运行结果。

• 控制台全屏：单击控制台右上角的图标后，控制台将以全屏展示。

• 上拉控制台/下拉控制台：单击控制台右上角的或图标，来上拉或下拉控制台。您也可以将鼠标移动至控制台上方边缘，来自由上拉或下拉控制台。

• 收起控制台/查看控制台：单击控制台底部的收起控制台，即可将控制台收起。收起后，您可以单击查看控制台来重新查看控制台。

②运行结果操作

• 列查找与筛选：单击列查找与筛选，可在下拉列表中查看当前表的所有列名，单击列名后的图标，系统将定位至对应列并高亮展示对应列，方便您快速查看对应列的内容。下拉列表中支持根据列表筛选目标列，选中的列将在运行结果表中展示，若取消选中某列，则运行结果表中将隐藏对应列。

• 单行详情：单击单行详情，将以字段与字段值的形式展示表格中各行内容，支持快速查看上一行、下一行、首行或尾行。若单击列表视图，则恢复为表格的展示形式。

• 自适应列宽：运行结果表中支持自由调整每列的列宽。单击自适应列宽后，系统将根据每列的内容长度自动调整为适宜的列宽。

• 内容搜索：单击图标，在整个表格中搜索与所输入关键字相关的内容。

• 下载数据：单击图标，选择下载样例数据或下载全部数据。详情请参见下载结果数据。

• 行列转换：单击图标，将当前表的行列互换。

• 单列数据筛选及排序：单击列名后的图标，对当前列中的数据做筛选和排序。运行结果表中的每一列均支持数据筛选与排序功能。

• 全选表：单击表格中首行首列的单元格，系统将自动选中整个表格（包括表头，即列名）。您可单击鼠标右键来复制整个表格。