创建数据库SQL任务

本文为您介绍如何基于Dataphin新建数据库SQL任务。

使用限制

  • 支持存储过程的创建及执行,但是Dataphin系统将不做语法校验及解析。

  • 执行数据库SQL需要获取数据源的执行权限,不支持表级权限校验。更多信息,请参见申请、续期和交还数据源权限

  • 不支持基于MySQL、Oracle数据源SQL数据更新触发调度数据源质量规则。更多信息,请参见创建数据源质量规则

  • 查询结果不支持全量下载,仅支持下载样例数据。

  • 离线计算模板节点类型不支持数据库SQL。

  • 在Dev-Prod模式的项目下使用仅配置了生产环境的数据源,在开发环境下进行补数据或运行操作可能变更生产数据,请谨慎使用。

操作步骤

  1. 在Dataphin首页的顶部菜单栏中,选择研发 > 数据研发

  2. 开发页面的顶部菜单栏选择项目(Dev-Prod模式需要选择环境)。

  3. 在左侧导航栏中选择数据处理 > 计算任务,在计算任务列表中单击image图标,选择数据库SQL

  4. 新建数据库SQL任务对话框中,配置以下参数。

    参数

    描述

    基本信息

    任务名称

    填写代码任务的名称。

    长度不超过256个字符,不支持竖线(|)、正斜线(/)、反斜线(\)、半角冒号(:)、半角问号(?)、尖括号(<>)、星号(*)和半角引号(")。

    调度类型

    选择任务的调度类型。调度类型包括:

    • 周期任务:自动参与系统的周期性调度。

    • 手动任务:需要手动触发任务的运行。

    选择目录

    选择任务所存放的目录。

    若未创建目录,您可以新建文件夹,操作方法如下:

    1. 在页面左侧计算任务列表上方单击image图标,打开新建文件夹对话框。

    2. 新建文件夹对话框中输入文件夹名称并根据需要选择目录位置。

    3. 单击确定

    描述

    填写任务的简单描述,1000个字符以内。

    数据源配置

    数据源类型

    选择SQL任务的数据源类型。支持MySQLOracleAnalyticDB for PostgreSQL、Presto数据源。

    数据源

    选择SQL任务的数据源。若无可选数据源,可以单击+新建数据源进行创建。

    Catalog

    数据源类型为Presto时,配置数据源后,还需要配置Catalog。

    Schema

    数据源类型为AnalyticDB for PostgreSQLOraclePresto时,配置数据源后,还需要配置Schema。

  5. 单击确定

  6. 在当前数据库SQL任务页签下的代码编辑区域,编写数据库SQL离线计算任务的代码。代码编辑完成后,单击代码编辑区域上方的运行

  7. 单击页面右侧边栏的属性,在属性面板中配置任务的基本信息运行参数调度属性(周期任务)、调度依赖(周期任务)、运行配置

    • 基本信息

      用于定义调度任务的名称、对应责任人、描述等基本信息。配置说明,请参见配置任务基本信息

    • 运行参数

      若您的任务中调用了参数变量,您可在属性中对参数进行赋值,从而支持节点调度时,参数变量可以自动被替换为相应的变量值。配置说明,请参见参数配置及使用节点参数

    • 调度属性(周期任务)

      如果离线计算任务的调度类型为周期任务,除了基本信息外,还需要配置任务的调度属性。配置说明,请参见配置调度属性

    • 调度依赖(周期任务)

      如果离线计算任务的调度类型为周期任务,除了基本信息外,还需要配置任务的调度依赖。配置说明,请参见配置调度依赖

      重要

      系统自动依赖解析可能不准确,请根据代码确认。

    • 运行配置

      您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见计算任务运行配置

  8. 在当前数据库SQL任务页签下,保存并提交当前任务。

    1. 单击代码编辑区域上方的image图标,保存代码。

    2. 单击代码编辑区域上方的image图标,提交代码。

  9. 提交详情页面中,需确认提交内容前置检查的结果,并填写备注信息。更多信息,请参见离线计算任务提交说明

  10. 确认完成后,单击确定并提交

后续步骤

  • 如果您的开发模式是Dev-Prod模式,任务提交成功后还需前往发布列表,将任务发布至生产环境。更多信息,请参见管理发布任务

  • 如果您的开发模式是Basic模式,则提交成功后的数据库SQL任务,即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息,请参见查看并管理脚本任务查看并管理手动任务