< 文档首页
全部产品
弹性计算
存储服务
数据库
网络
视频与CDN
域名与网站
工商财税 知识产权
应用服务
互联网中间件
移动研发平台 EMAS
移动研发平台EMAS-专有云
云通信
安全
大数据
人工智能
ET大脑
物联网
物联网行业方案
数字金融
管理与监控
区块链
云市场
API与工具
解决方案
钉钉
会员服务
专有云
更多
云游戏

    任务

    更新时间：2020-08-07 23:23:11

    ★ 我的收藏
    本页目录

    支持的任务类型

    目前支持的数据开发任务类型分为以下5类：

    • 单实例任务：包含通用的单实例SQL插件和具体引擎的插件（如MySQL、PostgreSQL、PolarDB-MySQL、DLA-SQL等），他们的作用都是将SQL发放到指定的一个数据库实例上执行。

    • 跨库任务，包含：

      跨库SQL：可通过一种SQL语法访问跨源异构的多个实例，详情可见跨库查询DSQL

      DTS数据迁移：基于DTS迁移封装而成的任务，可实现数据库之间的数据迁移。

    • 备份/恢复任务，包含：

      DLA-一键建仓：基于一键建仓封装而成的任务，可将数据库的数据备份到自建的OSS中。

      DBS备份：基于DBS封装而成的任务，可将数据库的数据备份到DBS提供的OSS中，恢复采用DBS恢复插件。

      DBS恢复：可恢复“DBS备份”插件对应的数据。

    • 复杂分析任务，包含：

      Serverless Spark：基于DLA-Serverless Spark封装而成的任务，可利用Spark的能力实现机器学习等任务场景。

    • 状态检查，包含：

      表状态检查：通过SQL检查表中某一时间后的数据是否出现

    任务内容的编辑

    • DAG图中选中一个任务后，右侧参数面板会切换到任务配置。
    • 选中“内容设置”进行编辑。
    • 如果觉得内容大小不合适，可以通过拖动面板左侧的按钮进行缩放。

    task-edit

    表状态检查任务

    check_table

    • 目标——选择需要检查的数据库
    • 表——选择需要检查的表和时间列
    • 预览——可以查看检查的SQL
    • 重试次数——如果没发现数据，会重试
    • 重试间隔——检查失败时，等待的时间间隔

    SQL任务支持语法

    不同的数据库有不同的SQL语法，需要使用节点所选择的数据库语法编写SQL

    以MySQL为例，支持产生数据：

    • create table [if not exists]
    • create table … [as] select …
    • insert [replace] into … [select] …
    • update …

    【清理数据】

    • delete from … [where] …
    • drop table [if exists]…
    • truncate table …

    【存储过程相关】

    • set …
    • call …

    变量配置

    系统变量

    目前只有一个：bizdate，默认格式是yyyy-MM-dd，表示运行时间减一天。

    • 比如当天时间是2019-08-15，那么bizdate为2019-08-14

    自定义变量

    • DAG图中选中一个任务后，右侧参数面板会切换到任务配置
    • 所有自定义变量都是以bizdate的时间作偏移的，设置入口在任务的右侧“变量设置”中:custom_variable

    变量的使用方式

    在SQL任务中，用${变量名}表示。

    变量的作用

    用于替换SQL中的变量字符串，可以通过“SQL预览”的功能查看变量是否配置成功。

    • 例如自定义变量图中的yesterday设置为：variable
    • 那么通过“SQL预览”可以浏览替换变量后的SQL为：yulan

    已支持的时间格式列表

    字母 意义 例子
    G 公元 “Gyyyy年” -> “公元2019年”
    y 当天所在的年份 “yyyy” -> “2019”, “yy” -> “19”
    Y 当周所在的年份 （2019-12-31）”YYYY” -> “2020”
    M 月份 “MM” -> “08”
    w 当年中所在的周数 “ww” -> “01”
    W 当月中所在的周数 “W” -> “1”
    D 当年中所在的天数 “D” -> “360”
    d 当月中所在的天数 “dd” -> “02”
    E 星期几 “E” -> “星期六”
    e 星期几的数字表达 “e” -> “1”（默认周一是1，周二是2，周日是7。若想实现西方日历周日是1的话，可通过变量偏移”+1日”来实现）
    a am/pm，“上午”/“下午”标记 “a” -> “上午”
    H 当天小时数，[0, 23] “HH” -> “10”
    k 当天小时数，[1, 24]，0点是24 “kk” -> “11”
    K 上午或下午的小时数， [0, 11] “KK” -> “01”
    h 上午或下午的小时数，[1, 12] “hh” -> “02”
    m 分钟数 “mm” -> “35”
    s 秒数 “ss” -> “12”
    S 毫秒数 “SSS” -> “079”
    z 时区 “z” -> “UTC+08:00”

    组合示例

    • 输入2019-08-02 11:05:21
      • “yyyy-MM-dd” 对应为 “2019-08-02”
      • “HH:mm:ss” 对应为 “11:05:21”
      • “yyyyMMdd HH:mm:ss” 对应为 “20190802 11:05:21”
      • “yyyyMM01”（月初） 对应为 “20190801”
    上一篇：基本概念
    下一篇：运维中心
    相关文档
    相关产品
    • 数据管理 DMS
      数据管理（Data Management）支持MySQL、SQL Server、PostgreSQL、PPAS、Petadata等关系型数据库，DRDS等OLTP数据库，ADS、DLA等OLAP数据库和MongoDB、Redis等NoSQL的数据库管理，同时还支持Linux服务器管理。它是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。用户使用数据管理服务实现易用的数据库和服务器统一管理入口，让数据更安全、管理更高效、数据价值更清晰。
    • 数据传输服务 DTS
      数据传输(Data Transmission)是阿里云提供的一种支持RDBMS(关系型数据库)、NoSQL、OLAP等多种数据源之间数据交互的数据服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。通过数据传输可实现不停服数据迁移、数据异地灾备、跨境数据同步、缓存更新策略等多种业务应用场景，助您构建安全、可扩展、高可用的数据架构。
    • 云数据库 RDS
      阿里云关系型数据库（Relational Database Service，简称RDS）是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL Server、PostgreSQL、PPAS（Postgre Plus Advanced Server，高度兼容Oracle数据库）和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。