计算任务概述

Dataphin的计算任务页面支持创建多种类型的计算任务,包括SHELL、PYTHON、数据库SQL、VIRTUAL以及基于计算引擎的SQL和MapReduce(MR)等任务。本文将为您介绍计算任务页面及支持的管理功能。

计算任务页面概述

计算任务页面主要由计算任务目录、工具栏、编辑器、配置及管理、控制台组成您可以在计算任务页面对计算任务进行创建、管理以及配置操作。

image.png

区域

描述

计算任务目录

创建的计算任务将在任务目录中进行统一管理。任务目录支持的管理操作如下:

  • 目录工具栏:支持筛选刷新新建文件夹定位

  • 创建计算任务:单击image.png按钮,支持创建计算任务。因不同计算引擎支持的创建的任务不同,支持的计算任务请以页面显示为准。

  • 计算任务:支持获取锁、编辑克隆重命名移动删除、下线、下线并删除

    重要
    • 对于Basic模式项目,删除任务提交成功后,即更新至生产环境,请谨慎操作。

    • 对于Dev-Prod模式项目,删除任务提交成功后,请前往待发布列表,以发布对象至生产环境。

  • 计算任务列表:单击计算任务列表,可以通过列表方式管理创建的计算任务。

工具栏

工具栏支持包括保存、预编译、运行、设参运行、提交、去发布、格式化、刷新、获取锁、定位、下线、下线并删除等。

  • 切换版本:计算任务为Python时,支持切换Python计算任务的执行版本。支持Python 2.7、Python 3.7和Python 3.11版本。

  • 切换数据源:计算任务为数据库SQL时,支持切换计算任务的数据源。

  • Schema:计算任务为数据库SQL且数据库类型为AnalyticDB for PostgreSQL、Oracle、Presto时,支持切换数据源的Schema。

  • Catalog:计算任务为数据库SQL且数据库类型为Presto时,支持切换数据源的Catalog。

  • 保存:保存当前开发中的计算任务

  • 预编译:预编译当前计算任务。

  • 运行:运行当前开发中的计算任务。 已完成参数首次设置时,再次运行将不需要重新填写运行参数。

  • 设参运行:不使用计算任务中存在的参数运行,每次设参运行计算任务时,将需要重新填写运行参数。

  • 提交:将计算任务提交至发布中心或运维中心。

  • 去发布:已提交到发布中心的计算任务,您可以前往发布中心进行发布操作。更多信息,请参见发布中心概述

  • 去运维:已提交到运维中心的计算任务,您可以前往运维中心进行运维操作。更多信息,请参见运维中心概述

  • 格式化:计算任务为SQL类型时,支持格式化计算任务代码。

  • 刷新:刷新当前计算任务。

  • 获取锁:获取计算任务的编辑锁。

  • 定位:在任务目录中定位到当前计算任务。

  • 删除删除下线并删除:删除或下线并删除当前计算任务。

    重要
    • 对于Basic模式项目,删除任务提交成功后,即更新至生产环境,请谨慎操作。

    • 对于Dev-Prod模式项目,删除任务提交成功后,请前往待发布列表,以发布对象至生产环境。

编辑器

可以在代码编辑器中,开发计算任务。编辑器支持多种快捷键和提效方式。更多信息,请参见:

配置及管理

配置及管理计算任务的属性配置、相关、历史、血缘等信息。

控制台

运行或预编译任务时,将在控制台显示运行日志和运行结果信息。