本文为您介绍如何基于Dataphin新建数据库SQL任务。
使用限制
支持存储过程的创建及执行,但是Dataphin系统将不做语法校验及解析。
执行数据库SQL需要获取数据源的执行权限,不支持表级权限校验。更多信息,请参见申请、续期和交还数据源权限。
不支持基于MySQL、Oracle数据源SQL数据更新触发调度数据源质量规则。更多信息,请参见创建数据源质量规则。
查询结果不支持全量下载,仅支持下载样例数据。
离线计算模板节点类型不支持数据库SQL。
在Dev-Prod模式的项目下使用仅配置了生产环境的数据源,在开发环境下进行补数据或运行操作可能变更生产数据,请谨慎使用。
操作步骤
在Dataphin首页,单击顶部菜单栏研发。默认进入数据开发页面。
在顶部菜单栏选择项目(Dev-Prod模式需要选择环境),在左侧导航栏选择数据处理 > 计算任务。
单击计算任务栏的,在下拉列表中选择数据库SQL。
在新建数据库SQL任务对话框中,配置参数。
参数
说明
基本信息
任务名称
填写代码任务的名称。
不支持竖线(|)、正斜线(/)、反斜线(\)、半角冒号(:)、半角问号(?)、尖括号(<>)、星号(*)和半角引号("),长度不超过256个字符。
调度类型
选择任务的调度类型。调度类型包括:
周期任务:自动参与系统的周期性调度。
手动任务:需要手动触发任务的运行。
选择目录
选择代码任务的目录。若未创建目录,您可按照下图操作指引,填写目录名称和选择目录所在位置进行创建。
描述
填写任务的简单描述,不超过1000个字符。
数据源配置
数据源类型
选择SQL任务的数据源类型。支持MySQL、Oracle、AnalyticDB for PostgreSQL、Presto数据源。
数据源
选择SQL任务的数据源。若无可选数据源,可以单击+新建数据源进行创建。
Catalog
数据源类型为Presto时,配置数据源后,还需要配置Catalog。
Schema
数据源类型为AnalyticDB for PostgreSQL、Oracle、Presto时,配置数据源后,还需要配置Schema。
单击确定。
在数据库SQL任务代码编写页面,编写代码。
单击页面右上角的运行,可运行代码。
单击页面侧边栏属性,配置任务属性。属性包括任务的基本信息、参数配置、调度属性(周期任务)、调度依赖(周期任务)、运行配置。
基本信息
用于定义调度任务的名称、对应责任人、描述等基本信息。配置说明,请参见配置任务基本信息。
运行参数
若您的任务中调用了参数变量,您可在属性中对参数进行赋值,从而支持节点调度时,参数变量可以自动被替换为相应的变量值。配置说明,请参见参数配置及使用节点参数。
调度属性(周期任务)
如果离线计算任务的调度类型为周期任务,除了基本信息外,还需要配置任务的调度属性。配置说明,请参见配置调度属性。
调度依赖(周期任务)
如果离线计算任务的调度类型为周期任务,除了基本信息外,还需要配置任务的调度依赖。配置说明,请参见配置调度依赖。
重要系统自动依赖解析可能不准确,请根据代码确认。
运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见计算任务运行配置。
在代码编写页面,保存并提交数据库SQL任务。
单击页面上的图标,保存代码。
单击页面右上方的图标,提交代码。
在提交备注页面,填写备注信息。
单击确定并提交。
提交时,Dataphin将进行任务的血缘解析及提交检查。更多信息,请参见实时计算任务提交说明。