< 文档首页
全部产品
弹性计算
存储服务
数据库
网络
视频与CDN
域名与网站
工商财税 知识产权
应用服务
互联网中间件
移动研发平台EMAS
移动研发平台EMAS-专有云
云通信
安全
大数据
人工智能
ET大脑
物联网
物联网行业方案
数字金融
管理与监控
云市场
API与工具
解决方案
钉钉
会员服务
更多

    任务

    更新时间：2020-03-31 18:14:12

    ★ 我的收藏
    本页目录

    支持的任务类型

    目前支持的数据开发任务类型：

    • 单实例SQL（在一个数据库实例上执行相应的SQL）
    • 跨库SQL（详情可见跨库查询DSQL）
    • DTS数据迁移（基于DTS迁移封装而成的任务）
    • 表状态检查（通过SQL检查表中某一时间后的数据是否出现）

    任务内容的编辑

    • DAG图中选中一个任务后，右侧参数面板会切换到任务配置
    • 选中“内容设置”进行编辑
    • 如果觉得内容大小不合适，可以通过拖动面板左侧的按钮进行缩放task-edit

    表状态检查任务

    check_table

    • 目标——选择需要检查的数据库
    • 表——选择需要检查的表和时间列
    • 预览——可以查看检查的SQL
    • 重试次数——如果没发现数据，会重试
    • 重试间隔——检查失败时，等待的时间间隔

    SQL任务支持语法

    不同的数据库有不同的SQL语法，需要使用节点所选择的数据库语法编写SQL

    以MySQL为例，支持：【产生数据】

    • create table [if not exists]
    • create table … [as] select …
    • insert [replace] into … [select] …
    • update …

    【清理数据】

    • delete from … [where] …
    • drop table [if exists]…
    • truncate table …

    【存储过程相关】

    • set …
    • call …

    变量配置

    系统变量

    目前只有一个：bizdate，默认格式是yyyy-MM-dd，表示运行时间减一天。

    • 比如当天时间是2019-08-15，那么bizdate为2019-08-14

    自定义变量

    • DAG图中选中一个任务后，右侧参数面板会切换到任务配置
    • 所有自定义变量都是以bizdate的时间作偏移的，设置入口在任务的右侧“变量设置”中:custom_variable

    变量的使用方式

    在SQL任务中，用${变量名}表示。

    变量的作用

    用于替换SQL中的变量字符串，可以通过“SQL预览”的功能查看变量是否配置成功。

    • 例如自定义变量图中的yesterday设置为：variable
    • 那么通过“SQL预览”可以浏览替换变量后的SQL为：yulan

    已支持的时间格式列表

    字母 意义 例子
    G 公元 “Gyyyy年” -> “公元2019年”
    y 当天所在的年份 “yyyy” -> “2019”, “yy” -> “19”
    Y 当周所在的年份 （2019-12-31）”YYYY” -> “2020”
    M 月份 “MM” -> “08”
    w 当年中所在的周数 “ww” -> “01”
    W 当月中所在的周数 “W” -> “1”
    D 当年中所在的天数 “D” -> “360”
    d 当月中所在的天数 “dd” -> “02”
    E 星期几 “E” -> “星期六”
    a am/pm，“上午”/“下午”标记 “a” -> “上午”
    H 当天小时数，[0, 23] “HH” -> “10”
    k 当天小时数，[1, 24]，0点是24 “kk” -> “11”
    K 上午或下午的小时数， [0, 11] “KK” -> “01”
    h 上午或下午的小时数，[1, 12] “hh” -> “02”
    m 分钟数 “mm” -> “35”
    s 秒数 “ss” -> “12”
    S 毫秒数 “SSS” -> “079”
    z 时区 “z” -> “UTC+08:00”

    组合示例

    • 输入2019-08-02 11:05:21
      • “yyyy-MM-dd” 对应为 “2019-08-02”
      • “HH:mm:ss” 对应为 “11:05:21”
      • “yyyyMMdd HH:mm:ss” 对应为 “20190802 11:05:21”
      • “yyyyMM01”（月初） 对应为 “20190801”
    上一篇：运维中心
    下一篇：任务流
    相关文档
    相关产品
    • 数据管理 DMS
      数据管理（Data Management）支持MySQL、SQL Server、PostgreSQL、PPAS、Petadata等关系型数据库，DRDS等OLTP数据库，ADS、DLA等OLAP数据库和MongoDB、Redis等NoSQL的数据库管理，同时还支持Linux服务器管理。它是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。用户使用数据管理服务实现易用的数据库和服务器统一管理入口，让数据更安全、管理更高效、数据价值更清晰。
    • 云数据库 RDS
      阿里云关系型数据库（Relational Database Service，简称RDS）是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL Server、PostgreSQL、PPAS（Postgre Plus Advanced Server，高度兼容Oracle数据库）和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。
    • 云服务器 ECS
      云服务器（Elastic Compute Service，简称 ECS）是一种简单高效、处理能力可弹性伸缩的计算服务，帮助您快速构建更稳定、安全的应用，提升运维效率，降低 IT 成本，使您更专注于核心业务创新。